Рубрики
IT - разное

Эксперименты с локальной LLM Gemma 3

Сегодня увидел на Хабре статью Создание игры с помощью LLM более полугода назад и этой же игры теперь. Что изменилось?. Не то чтобы я жаждал программировать с использованием больших языковых моделей (ака чатботы, ака нейросети, ака LLM), но сами их возможности, которые быстро растут (а также растет их доступность), впечатляют. Поэтому захотелось взглянуть, что там за эксперимент такой и что получилось у человека в итоге.

Я уже пробовал ранее запускать LLM локально, но попытки оценить на что они способны в интересующих меня сферах обычно терпели фиаско. Ключевая проблема локального запуска моделей в том, что для запуска на обычном железе приходится выбирать их урезанные версии с небольшим числом параметров, например, 1B, 4B, 12B, 27В. Плюс с урезанным квантованием. В итоге эти модели могут что-то делать, но обычно на английском и чем меньше модель, тем она менее «умная». Попытки делать что-то на русском и, особенно, на украинском, обычно показывали не очень хорошие результаты.

Автор статьи взял модель общего назначения gemma-3-27b-it-Q4_K_M. Это одна из урезанных версий недавно выпущенной большой модели Gemma 3 от Google. Собственно, я ее уже тогда скачал, в этой версии — gemma-3-27b-it-Q5_K_M, с чуть более высоким квантованием. Оптимальный вариант для своего железа. Сразу попробовал с украинским языком и, на удивление, она показала себя неплохо. Не ChatGPT (какая там нынче версия доступна бесплатно — о1?), но уже вполне годится для моих запросов. Только медленно работает. Но это уже вопросы к железу. Искусственный интеллект требует жертв больших ресурсов.

В комментариях к указанной статье Хабра стали обсуждать, можно ли запустить эту модель на обычном домашнем железе и какая будет скорость работы при выполнении прикладных задач. Я и решил попробовать повторить опыт автора статьи у себя. И замерить показатели. Решил и сделал. Для эксперимента использовал простую программу для локального запуска LLM моделей — LM Studio версии 0.3.9.

Рубрики
IT - разное

О ChatGPT и ему подобных. Часть 1. Мои мысли по поводу

Сначала я просто невзлюбил ChatGPT. Я не понимал, что с ним не так и почему он мне не нравится. Но где-то в глубине души словно заноза засело ощущение, что тут что-то не так. Уже позднее, ближе познакомившись и с ChatGPT и с прочими представителями искусственного интеллекта (изначально тут было написано «нейросетями и llm моделями», но затем, лучше разобравшись с этими понятиями, я понял, что так писать будет не совсем корректно), я смог уже более точно сформулировать, что именно мне в этом всем не нравится. Так что если вам это интересно — можете читать далее.

Вступление

Итак, начнем немного издалека. О ChatGPT впервые я узнал, скорее всего, на Хабре. Первые упоминания о нем у нас в Дискорде датируются где-то январем 2023 года. На тот момент интернет вовсю уже бурлил, обсуждая возможности нового искусственного интеллекта, представленного в виде чат-бота. В какой-то момент времени об этом говорили буквально везде: в профильных издания и сайтах, в новостях, на форумах и в социальных сетях.

Хотя, справедливости ради, о немного иных представителях искусственного интеллекта (далее просто ИИ) заговорили раньше, приблизительно летом 2022 года, когда появились (и тоже породили бурления в сети) генераторы изображения Midjourney и DALL-E. Между прочим, об одной из программ для генерации изображений я уже писал в прошлом году — Fooocus — простая и доступная нейросеть для генерации изображений по текстовому описанию, там тоже есть часть моих размышлений на тему. Только они касались именно генераторов изображений, что имеет свои особенности.