В Калининграде сгенерировали «картины Канта» с помощью Stable Diffusion

Нейросети формата «текст в картинку» за короткое время обрели огромную популярность, уточняет пресс-служба ведущего вуза Калининграда – БФУ имени Канта.

 Еще недавно они генерировали лишь смазанные абстрактные изображения, которые только отдаленно напоминали то, что от них требовали. Сегодня результаты генерации по невнимательности можно спутать с реальными фотографиями.

Такие нейросети как Stable Diffusion, Midjourney, DALL·E 2 в руках умелого пользователя способны визуализировать любые фантазии. В рамках проекта «Kant as an artist», который приурочен к приближающемуся 300-летию Иммануила Канта, сотрудники Центра нейротехнологий и машинного обучения БФУ им. И. Канта решили представить, какие картины мог бы написать философ, будь он художником.

Пресс-служба БФУ узнала от сотрудников Центра Глеба Камышова и Владимира Савина подробнее о том, как устроены такие «нейронки» и о том, как с ними работать, чтобы получить необходимый результат.

— Что на данном этапе представляет собой проект «Kant as an artist»?

Владимир Савинов, младший научный сотрудник Центра нейротехнологий и машинного обучения:

— Есть такое ПО — Stable diffusion (SB). Это обученная нейросеть, которая принимает в качестве затравки текст и по этому запросу генерирует изображение. На его основе работает и наша модель.

— Чем это отличается от Midjourney, DALL-E 2 (другие известные нейросети типа «текст в картинку»)?

— Это фактически одно и то же. Просто как альтернатива.

— Планируете ли вы сделать проект общедоступным?

— Фишка в том, что мы взяли готовые решения. Оно уже доступно. Можно брать модели* для Stable diffusion и бесплатно использовать. А для генерации можно скачать веб-интерфейс с GitHub (крупнейший сервис хостинга IT-проектов). Мы на своем сервере его запускаем.

*Модели — контрольные файлы, которые представляют собой предварительно обученные нейронные связи. Они предназначены для генерации определенных изображений. Например, это может быть модель, которая лучше подходит для генерации изображений животных.

— Нам пришла идея: «Какие картины писал бы Иммануил Кант, будь он философом?». Мы начинали с того, что брали в качестве промптов* его популярные цитаты и вбивали их в Stable diffusion-модель. Возможно, это ожидаемо, но нейросеть стала генерировать что-то в духе мотивационных плакатов: картинка и поверх нее какой-то псевдотекст (как правило, нейросети пока не справляются с интеграцией текста в картинку. Пример ниже). Это нас не удовлетворяло.

*Промпт — текстовый запрос, на который опирается нейросеть при создании изображения.