Нейросети для генерации изображений по текстовому описанию появились не вчера и даже не позавчера. Если вы интересуетесь миром компьютеров, вряд ли не слышали что-то из таких названий как Midjourney, DALL-E, Stable Diffusion или Kandinsky. Ведь в 2022 году они буквально взорвали интернет, став причиной множества споров и дискуссий — мол художники больше не нужны, каждый может сгенерировать ту картинку, которую захочет. На самом деле, это конечно же не так. Точнее не совсем так.
Изначально меня вся эта волна генерируемого нейросетями контента затронула слабо, так как больше всегда интересовало индивидуальное творчество. А здесь, казалось, что-то бездушное, что-то не способное сотворить реально новое, ведь генерация происходит на основе уже существующих материалов, то есть по сути происходит рандомное создание чего-то нового на основе того, что уже было. Это если не вникать в детали.
Так или иначе, я попробовал пару сеток. Да, забавная игрушка, но не более того. И, казалось, что шум слегка преувеличен. И дальше просто читал периодически новости о том, что происходит в этом направлении, какие новые версии приложений появляются и как художники борются за свои авторские права, которые ущемляет ИИ, обучаясь на результатах их творчества.
Но вот на днях на Хабре вышла интересная статья о новой (относительно) нейросети Fooocus. Чем она меня подкупила — это своей простотой. Скачал, распаковал, запустил — генерируй. Куда уж проще? И с возможностью локальной работы, а не запуска всего этого где-то там на далеких чужих серверах (это уже на любителя, но я привык все свое хранить у себя). В статье по ссылке выше достаточно подробно расписано и как устанавливать эту нейросеть, и как с ней работать и много еще разной полезной информации. И да, если ваш компьютер не удовлетворяет минимальным требованиям, а они немаленькие, то есть возможность запуска нейросети в Google Colab, онлайн. Об этом тоже в статье написано.
Далее поделюсь немного своим, совсем небольшим опытом. Так как я попробовал и мне понравилось. Покопавшись пару вечеров в самой программе, в сети, захотелось подвести для себя кое-какие итоги и сделать краткие выводы.
Для начала о том, что нужно, как скачать и что из себя все это представляет.
Минимальные системные требования для Fooocus:
- 4GB VRAM — 4 ГБ видеопамяти (лучше 8), интегрированные (встроенные) видеокарты не подойдут
- 8GB RAM — 8 ГБ оперативной памяти (лучше 16)
- 20-30 ГБ свободного пространства на жестком диске для самой программы и докачиваемых моделей.
Чем более мощная у вас видеокарта — тем быстрее будут генерироваться картинки. Так, на одну картинку может уходить от 1 секунды, на чем-то вроде RTX 4090, до 5 минут и более на чем-то более древнем и слабом. Ну и от настроек генерации это тоже зависит. В общем, если хотите всерьез заниматься генерацией изображений и использованием нейросетей — вам нужна видеокарта помощнее и с большим размером видеопамяти (8-12 и более ГБ).
Если с требованиями все ок, то скачиваем архив отсюда, нажав на надпись >>> Click here to download <<<. Весит он меньше 2 ГБ. После распаковки программа будет занимать около 5 ГБ. В папке вы увидите три файла:
- run.bat
- run_anime.bat
- run_realistic.bat
Через них программа и запускается. Да, привыкайте к батникам и черному окошку командной строки. Но пугаться не стоит, все просто. Запускаете run.bat (это использование базовой модели для генерации). Откроется окно командной строки и начнется закачка модели. Она весит около 7 ГБ, так что наберитесь терпения (в зависимости от скорости вашего интернета). Информация об этом будет отображаться в командной строке. Но на английском. К английскому привыкайте, на нем здесь построено абсолютно все (хотя куда нынче без него вообще?). Когда все что надо догрузится, вы увидите в командной строке надпись вида:
App started successful. Use the app with http://127.0.0.1:7865/ or 127.0.0.1:7865
Это значит, что все прошло успешно, все что надо докачалось, программа и модели развернулись в памяти компьютера — можно начинать генерировать. При этом у вас запустится браузер по умолчанию и откроется локальный сервер по адресу указанному выше. Если по какой-то причине этого не произошло, заходите в свой браузер и переходите по адресу: 127.0.0.1:7865. Там вас и будет ждать интерфейс работы с Foocus:
На картинке выше уже показан результат работы по простому промпту. Для генерации просто вбиваете текстовое описание там, где написано Type prompts here и жмете кнопку Generate. Но если вы дошли до этого этапа, я думаю сможете в этом разобраться и сами. Не забудьте, что описание (prompt) должен быть на английском. И чем более детальным он будет — тем выше вероятность получить такое изображение, которое вам нужно.
Как видите, все достаточно просто и легко, работает считай из коробки. При этом далее, при желании, можно вникнуть в тонкости и продвинутые настройки, и творить уже нечто более шедевральное. О таких настройках немного можно узнать из этого видео (на английском, но вы главное смотрите, что делает автор, можно понять и без перевода):
Выводы
- Сначала я в некоторой степени разделял опасения тех, кто говорил о том, что художникам и дизайнерам придется подвинуться, потому что теперь баллом будет править генерация изображений с помощью ИИ. Однако, познакомившись с этой темой чуть ближе, я соглашусь с теми, кто утверждает, что генеративные нейросети это лишь инструмент. Да, очень мощный, с большими перспективами, но все-таки инструмент. Этот инструмент может помочь, в том числе и художникам, но он не заменит их. Разве что в каких-то очень простых задачах.
- При этом надо понимать, что генерация нужных изображений, конкретно нужных для вас в конкретной ситуации — задача вовсе не такая простая, как кому-то может показаться. Инструментом еще надо уметь пользоваться. Именно поэтому я считаю, что в будущем нейросети будут изучать художники во время учебы как очередной инструмент среди тех, которые они используют в своем творчестве. И появится профессия — оператор нейросети. Эти специалисты будут учиться настраивать сети, задавать нужные промпты (это совсем не так просто, как думают люди со стороны), чтобы получить максимально близкий к нужному результат.
- Обратил внимание на то, что нейросеть также может стать хорошим дополнением при работе с изображениями в Фотошопе. Многое из того, что ранее требовалось ручками создавать в нем, теперь можно делать в том же Fooocus. Опять же — инструмент, который помогает, но не делает все вместо вас.
- Тема генерации изображений развивается очень быстро. И если вначале мне казалось, что это просто игрушка, то сейчас подумалось, что стоит разобраться и взять на вооружение. Полезные инструменты лишними не бывают.