Вырежьте изображения и удалите фон, модель Layer Diffusion лишит вас дара речи

Начиная с Стабильная диффузияМногие независимые ученые и разработчики создали производные генеративные модели, которые позволяют достичь поистине замечательных эффектов, используя преимущества искусственного интеллекта (ИИ). Львмин Чжан, известный как создатель Контрольная сетьнедавно представил концепцию Диффузия слоев размещение и обмен документ где подробно описана используемая техника.

Черпая вдохновение из Стабильная диффузияЧжан не только выдвинул теорию, но и создал новую систему, которая позволяет создавать новые изображения с помощью ИИ, применяя прозрачный фон. Полученный эффект сопоставим с запланированной операцией. обрезать изображение и удалить фон с фотографии.

Что такое диффузия слоев и как она работает вкратце

Автор проекта разработал решение под названием «скрытая прозрачность», что обогащает модели скрытой диффузии например, Stable Diffusion, и позволяет создавать изображения, представляющие прозрачность. Чжан предложил свою идею, поскольку на рынке отсутствуют эффективные инструменты для удалить фон с изображений производятся генеративными моделями, и это несмотря на растущий спрос на подобные функции со стороны рынка.

диффузия Это процесс, посредством которого сложное распределение вероятностей постепенно «распространяется» или «упрощается» в процессе выборки. Проще говоря, модель начинается с «шумного» или случайного изображения, а затем постепенно обновляет его, постепенно уменьшая неопределенность и генерируяболее четкое изображение. Этот процесс распространения управляется стохастическим подходом, который определяет, как изображение будет развиваться шаг за шагом.

Концепция чего-либо “скрытая прозрачностьотносится к предложенной Чжаном схеме сделать часть изображения прозрачной. Термин “скрытый» указывает на то, что эта функция прозрачности включена и используется в скрытое представление изображения. Последнее представляет собой абстрактное пространство, фиксирующее существенные характеристики изображения в сжатом и интерпретируемом формате.

Чтобы обеспечить последовательность и гармоничное слияние между уровни того же изображения, модели LoRA (Низкоранговая адаптация) специально обученные позволяют адаптировать работу системы к различным условиям уровней каждого изображения.

Как обрезать изображения и удалить фон с помощью Stable Diffusion WebUI Forge

В другой статье мы увидели, как ускорить получение результатов с помощью Stable Diffusion и значительно сократить время обработки. генерация изображения.

Всем, кто уже установил и настроил локально Стабильная Diffusion WebUI Forgeрешение, разработанное самим Чжаном, теперь может добавить поддержку дополнительного модуля, позволяющего быстро и легко обрезать сгенерированные изображения.

Чтобы продолжить, просто войдите в локальный веб-интерфейс Stable Diffusion WebUI Forge (адрес локального хоста в строке браузера), щелкните вкладку Расширения так что Установить с URL-адреса. В соответствующее поле необходимо ввести следующий адрес:

Одним нажатием кнопки Установитьмодель Диффузия слоев, кратко описанный выше, в свою очередь будет загружен в используемую систему. После появления подтверждающего сообщения необходимо нажать на кнопку Применить и перезапустить пользовательский интерфейс.

Наличие выпадающего меню СлойДиффузия, подтверждает, что установка прошла успешно. Вам просто нужно поставить галочку Включено активен и что предпочтительным методом является Генерировать только прозрачное изображение (инъекция внимания).

Используйте специальные подсказки для удаления фона из созданных изображений.

На этом этапе вы можете ввести запрос для создать изображение, как уже было видно в статье, посвященной Stable Diffusion WebUI Forge. В своих примерах Чжан предлагает использовать, например, модель Джаггернаут XL.

в репозиторий GitHub для Layer Diffusion вы можете найти несколько пример подсказки, для создания огромного количества изображений. Также есть видео, показывающее различные эффекты, которых можно получить, регулируя различные настройки.

Действительно, как показывает Чжан в этом примеревы можете выбрать От фона к смешиванию из раскрывающегося меню Метод и передать уже существующее изображение в генеративную модель.

Исследователь «передал» модели изображение скамейки, окруженной зеленью, а затем запросил через подсказку добавить пожилого человека, сидящего на той же скамейке. Результат тот, что виден на рисунке: фото скамейки в коробке. СлойДиффузия и теперь «населен» изображением человека определенного возраста.

Самое замечательное в том, что, перетаскивая дальнейшее изображение, созданное генеративной моделью, можно вырезать «главного героя» и удалить фон.

Вступительное изображение предоставлено: iStock.com — Головокружение3d