Русский 
Вступление
Я решил продолжить развивать тему AI и как это помогает в работе 3D художнику.
Предыдущая статья “Как Chat GPT и DALLE могут помочь 3D-художникам в ихней работе”, вам очень понравилась и много пользователей написало интересные комментарии к этой статье.
В данной статье будет показано более предметно, как можно использовать генератор картинок прямо в 3Ds Max благодаря tyDiffusion. Где в результате мы получим реалистичный задний план за несколько кликов с минимальными усилиями.
Предисловие
Во время сотрудничества с MaryGold Studio, мне удалось пообщаться с некоторыми из их сотрудников. Рассказывая о своих проектах, они показали несколько невероятных рендеров.
Разговор неловко превратился в интервью, но мне удалось узнать некоторые секреты. Большое спасибо Oleh за предоставленную информацию и желание поделиться такими крутыми знаниями с аудиторией.
Если вам интересен сам мастер-класс, можете пропустить следующий диалог.
Oleh показывает рендеры последних проектов.
Oleh: Да, это стало возможным, благодаря последним технологиям AI.
MastaMan: О, это интересно. Вы наверное используете Stable Diffusion?
Oleh: И да и нет. Мы используем tyDiffusion от плагина tyFlow на основе Stable Diffusion и генерируем картинки прямо в 3Ds Max, непосредственно во Viewport.
MastaMan: Ого, я даже не знал что можно генерировать картинки прямо во Viewport.
Oleh: Но это еще не все, мы также используем платный инструмент Magnific AI.
MastaMan: Вы используете его в связке с tyDiffusion?
Oleh: Да, он помогает исправить некоторые “косяки” после tyDiffusion.
MastaMan: А насколько сложный процесс генерации например заднего плана для рендера?
Oleh: На самом деле весь процесс несложный, нужно знать некоторые базовые настройки и правильно составить Prompt.
MastaMan: Я так понимаю скоро AI станет неотъемлемой частью в работе 3D художника, инструменты стают все проще и доступней.
Oleh: Это естественный процесс, и все к этому идет. Но есть моменты, связанные с рутиной и пока от них нельзя избавиться.
MastaMan: Это можно решить написанием скрипта?
Oleh: Думаю, да. Проблема в том, что после генерации мы получаем картинку в PNG формате с размером файла больше 100 Мб и применить такой материал к заднему фону проблематично, он просто не отображается.
MastaMan: О, я сталкивался с такими проблемами, скрипт как раз идеально справится с этой задачей.
Oleh: Так процесс создания заднего фона будет реально простым! Давай назовем скрипт - AI Texture Projection.
Генерация фонового изображения города при помощи tyDiffusion для ваших рендеров
Для работы нам понадобятся предустановленный tyFlow с tyDiffusion. Этот инструмент можно скачать бесплатно.
Если у вас возникают сложности, есть отдельное видео, где это показано. Все необходимые ссылки я прикреплю в конце статьи.
Подготовка
Необходимо подготовить сцену, перед генерацией картинок. Вы можете просто назначить цвета на определенные объекты, чтобы дать понять AI, где у нас протекает река, где расположена трава и зеленые зоны, дороги, здания и т.д. Таким образом мы без потери качества генерации может сэкономить время на рендере начального кадра с которого будем производить генерацию.
Как видите на скриншоте ниже, в сцене присутствует довольно массивная застройка, именно того района для которого создавался конечный рендер. Вы можете использовать в своих проектах 3D модели от Google Maps или платных сервисов, которые предоставляют такие услуги.
Мы не будем акцентировать на этом внимание, поскольку цель данного мастер-класса показать основные принципы работы с AI.
Для лучшего понимания, ниже приведен скриншот того, что мы должны будем получить.
Выставление камеры и поиск освещения
В данном рабочем процессе мы генерируем задний план и окружения, поэтому нам надо определить, где проходит граница где мы будем использовать плоскость с текстурой фона, а где оставим высоко-полигональные модели.
Все зависит от вашего ракурса и ситуации. В данном примере, река будет будет границей, поэтом строим плоскость вдоль береговой линии.
При этом важно чтобы наша плоскость была достаточно полигональной, для правильной проекции UVW при помощи модификатора от tyFlow.
Выставьте освещение, такое же как и в будущей сцене. Для того, чтобы сгенерированное изображение AI точно совпадало с вашим освещением.
Рендер ракурса для генерации
Спрячьте созданную ранее плоскость и другие объекты, которые не должны попасть в кадр.
Хотя, tyDiffusion генерирует изображение не больше 1280px по одной из сторон, рендер данной картинки необходимо делать в высоком разрешении, чтобы предоставить AI как можно больше деталей, это напрямую влияет на результат генерации.
Запуск tyDiffusion
Вот мы и добрались к самому интересному. Для запуска tyDiffusion, нажмите на выпадающее меню Viewport: Standard → tyDiffusion…
После чего у вас запустится терминал Windows (Command Prompt), где запуск всех необходимых процессов будет произведен автоматически.
Если вы еще не устанавливали плагин tyFlow, перейдите в конец статьи, там вы найдете ссылку на видео по быстрой установке данного плагина.
Базовые настройки tyDiffusion
Promt
Здесь мы прописываем позитивные и негативные подсказки (Prompts) для AI. Основная часть подсказки должна содержать по-предметное описание, которые мы должны получить.
Также необходимо написать некоторые свойства чтобы улучшить качество генерации. Укажите негативный Prompt, это поможет избежать некоторых артефактов при генерации.
Models
В Basic settings, мы выбираем модель, которая идет в поставке вместе с tyDiffusion. Список моделей небольшой, но достаточный для хорошего результата. Мы будем использовать Juggernaut Reborn (1.5).
VAE (Variational Autoencoder)
Один из важных компонентов tyDiffusion, который используется для сжатия и декодирования изображений в процессе обработки. По-умолчанию настройки неплохие, но рекомендую поэкспериментировать с дополнительными вариантами.
Resolution
Рекомендую использовать значения, на которых обучалась модель, но можно экспериментировать.
Mode
Тип генерации. В нашем случае выбираем Image to image.
Source
Источник информации. Выбираем Render Color.
Sampler
Здесь оставляем все по-умолчанию.
Conserve VRAM
Выбираем этот флажок, если у вас мало видеопамяти. У меня 24Гб и без нее вылетает программа.
Steps
Количество проходов модели во время просчета, для теста 20, для финального результата 100+.
CFG scale (Classifier-Free Guidance Scale)
Это важный параметр в tyDiffusion, который отвечает за баланс между творчеством и точностью изображения согласно Prompt.
По сути это контроль, насколько сильно модель будет следовать вашей текстовой инструкции.
Denoise
Параметр Denoise определяет степень изменений во время каждого из шагов. Например, если вы хотите сохранить общий вид уже созданного изображения, но добавить новые элементы, уменьшение параметра Denoise поможет вмешиваться минимально.
Этот параметр дает возможность пользователям получить больше контроля над конечным результатом, в зависимости от того, насколько вы сильно хотите вмешиваться в процесс модификации изображения.
Seed
Вариативность генерации. Вы всегда можете вернуться к предыдущему варианту указав точный Seed.
Настройка ControlNet для точной генерации
Depth
Данный модуль использует карту глубины, что помогает модели лучше понимать пространство и расстояние объектов от камеры.
Edge
Работает с контурами и линиями на изображении, чтобы контролировать форму или границы объектов. Это идеально подходит для генерации четко очерченных структур или силуэтов.
IP-Adapter
Адаптивный модуль, настраивает модель на работу с изображениями, сгенерированными через другие источники, сохраняя их ключевые черты, но давая влиять на конечный результат.
Bake Result
После того как вы нажали Generate image и ваше изображение появилось во Viewport, выбираем нашу плоскость и нажимаем кнопку Bake result, как показано на скриншоте ниже. Таким образом мы сохраним это изображение на наш компьютер.
Скрипт AI Texture Projection
Воспользуемся скриптом от MastaMan - AI Texture Projection, который поможет создать материал с запеченной текстурой фона.
Кроме того этот скрипт поможет сжать изображение и со 100 Мегабайт до нескольких Килобайт, что позволяет без проблем отображаться материалу во Viewport и корректно рендерится.
Скачать AI Texture ProjectionСкачайте архив и извлеките скрипт. Перетяните MG AI Texture Projection.ms во Viewport, чтобы запустить скрипт. Или же перетяните во Viewport скрипт Install.mcr, если вы хотите добавить кнопку на панель инструментов или Quad Menu.
В Projection Image выбираем сгенерированное изображение заднего фона, во Viewport выбираем нашу плоскость или объект для которого мы делали запекание. Нажимаем кнопку Project On Object. Готово!
Картинка будет применена к плоскости и теперь можно из сцены удалить целый город, что значительно облегчит нашу сцену.
Конечный результат
Таким способом вы можете иметь проработанное изображение заднего фона даже на этапе Drafts, значительно облегчить сцену и ускорить рендер.
Если вам интересна тема AI и хотите узнать какие еще есть способы его применения, заходите на Patreon, где Oleh делится отличными видео и личным опытом. Ссылка на Patreon будет в конце статьи.
Результат до tyDiffustion
Результат после tyDiffusion
Если вам интересен такой формат, где большие компании рассказывают о своей “кухне” и вам интересно техническое интервью, обязательно напишите об этом в комментариях!
Заключение
Благодаря современным технологиям и tyDiffusion AI, вы можете создать реалистичный задний план за считанные минуты.
Это позволит не только разгрузить вашу сцену и ускорить рендер, но и вывести качество ваших картинок на новый уровень! И все это непосредственно делается не выходя из 3Ds Max!
Понравился результат или хотите рассказать про свой опыт использования AI – делитесь в комментариях. Будет интересно почитать!
{{comment.text}}