Українська 
Вступ
Я вирішив продовжити розвивати тему AI і як це допомагає у роботі 3D художнику.
Попередня стаття “Як Chat GPT та DALLE можуть допомогти 3D-художникам у їхній роботі”, вам дуже сподобалася та багато користувачів написало цікаві коментарі до цієї статті.
У цій статті буде показано предметніше, як можна використовувати генератор картинок прямо в 3Ds Max завдяки tyDiffusion. Де в результаті ми отримаємо реалістичний задній план за кілька кліків із мінімальними зусиллями.
Передмова
Під час співпраці з MaryGold Studio мені вдалося поспілкуватися з деякими з їхніх співробітників. Розповідаючи про свої проекти, вони показали кілька неймовірних рендерів.
Розмова незручно перетворилася на інтерв'ю, але мені вдалося дізнатися деякі секрети. Дуже дякую Oleh за надану інформацію та бажання поділитися такими крутими знаннями з аудиторією.
Якщо вам цікавий сам майстер-клас, можете пропустити наступний діалог.
Oleh показує рендери останніх проектів.
Oleh: Так, це стало можливим завдяки останнім технологіям AI.
MastaMan: О, це цікаво. Ви використовуєте Stable Diffusion?
Oleh: І так і ні. Ми використовуємо tyDiffusion від плагіна tyFlow на основі Stable Diffusion і генеруємо картинки прямо в 3Ds Max безпосередньо в Viewport.
MastaMan: Ого, я навіть не знав, що можна генерувати картинки прямо в Viewport.
Oleh: Але це ще не все, ми також використовуємо платний інструмент Magnific AI.
MastaMan: Ви використовуєте його у зв'язці з tyDiffusion?
Oleh: Так, він допомагає виправити деякі “косяки” після tyDiffusion.
MastaMan: А наскільки складний процес генерації, наприклад, заднього плану для рендеру?
Oleh: Насправді весь процес нескладний, потрібно знати деякі базові налаштування та правильно скласти Prompt.
MastaMan: Я так розумію скоро AI стане невід'ємною частиною в роботі 3D художника, інструменти стають дедалі простішими та доступнішими.
Oleh: Це природний процес і все до цього йде. Але є моменти, пов'язані з рутиною і поки їх не можна позбутися.
MastaMan: Це можна вирішити написанням скрипта?
Oleh: Думаю, так. Проблема в тому, що після генерації ми отримуємо картинку в форматі PNG з розміром файлу більше 100 Мб і застосувати такий матеріал до заднього фону проблематично, він просто не відображається.
MastaMan: О, я стикався з такими проблемами, скрипт якраз ідеально впорається з цим завданням.
Oleh: Так процес створення заднього фону буде реально простим! Давай назвемо скрипт – AI Texture Projection.
Генерація фонового зображення міста за допомогою tyDiffusion для ваших рендерів
Для роботи нам знадобляться встановлений tyFlow з tyDiffusion. Цей інструмент можна завантажити безкоштовно.
Якщо у вас виникають складнощі, є окреме відео де це показано. Усі необхідні посилання я прикріплю наприкінці статті.
Підготовка
Необхідно підготувати сцену перед генерацією картинок. Ви можете просто призначити кольори на певні об'єкти, щоб дати зрозуміти AI, де у нас протікає річка, де розташована трава та зелені зони, дороги, будинки тощо. Таким чином, ми без втрати якості генерації може заощадити час на рендері початкового кадру з якого будемо виробляти генерацію.
Як бачите на скріншоті нижче, у сцені є досить масивна забудова, саме того району для якого створювався кінцевий рендер. Ви можете використовувати у своїх проектах 3D моделі від Google Maps чи платних сервісів, які надають такі послуги.
Ми не акцентуватимемо на цьому увагу, оскільки мета цього майстер-класу показати основні принципи роботи з AI.
Для кращого розуміння, наведено нижче скріншот того, що ми повинні будемо отримати.
Виставлення камери та пошук освітлення
У даному робочому процесі ми генеруємо задній план і оточення, тому нам треба визначити, де проходить межа, де ми будемо використовувати площину з текстурою фону, а де залишимо високополігональні моделі.
Все залежить від вашого ракурсу та ситуації. У цьому прикладі, річка буде межею, тому будуємо площину вздовж берегової лінії.
При цьому важливо, щоб наша площина була досить полігональною, для правильної проекції UVW за допомогою модифікатора від tyFlow.
Виставте освітлення, так само як і в майбутній сцені. Для того, щоб згенероване зображення AI точно збігалося з вашим освітленням.
Рендер ракурсу для генерації
Сховайте створену площину та інші об'єкти, які не повинні потрапити в кадр.
Хоча, tyDiffusion генерує зображення не більше 1280px по одній зі сторін, рендер даної картинки необхідно робити у високій роздільній здатності, щоб надати AI якнайбільше деталей, це безпосередньо впливає на результат генерації.
Запуск tyDiffusion
Ось ми й дісталися найцікавішого. Для запуску tyDiffusion, натисніть на меню Viewport: Standard → tyDiffusion…
Після чого у вас запуститься термінал Windows (Command Prompt), де запуск усіх необхідних процесів буде здійснено автоматично.
Якщо ви ще не встановлювали плагін tyFlow, перейдіть в кінець статті, там ви знайдете посилання на відео щодо швидкого встановлення даного плагіна.
Базові налаштування tyDiffusion
Promt
Тут ми прописуємо позитивні та негативні підказки (Prompts) для AI. Основна частина підказки повинна містити предметний опис, який ми повинні отримати.
Також необхідно написати деякі властивості, щоб поліпшити якість генерації. Вкажіть негативний Prompt, це допоможе уникнути деяких артефактів під час генерації.
Models
У Basic settings, ми вибираємо модель, яка йде у постачанні разом з tyDiffusion. Список моделей невеликий, але достатній для позитивного результату. Ми будемо використовувати Juggernaut Reborn (1.5).
VAE (Variational Autoencoder)
Один із важливих компонентів tyDiffusion, який використовується для стиснення та декодування зображень у процесі обробки. За замовчуванням параметри непогані, але рекомендую поекспериментувати з додатковими варіантами.
Resolution
Рекомендую використовувати значення, на яких навчалася модель, але можна експериментувати.
Mode
Тип генерації. У нашому випадку вибираємо Image to image.
Source
Джерело інформації. Вибираємо Render Color.
Sampler
Тут залишаємо все за замовчуванням.
Conserve VRAM
Вибираємо цей прапорець, якщо у вас мало відеопам'яті. У мене 24Гб і без неї вилітає програма.
Steps
Кількість проходів моделі під час прорахунку для тесту 20 для фінального результату 100+.
CFG scale (Classifier-Free Guidance Scale)
Це важливий параметр у tyDiffusion, який відповідає за баланс між творчістю та точністю зображення відповідно до Prompt.
По суті це контроль, наскільки сильно модель дотримуватиметься вашої текстової інструкції.
Denoise
Параметр Denoise визначає ступінь змін під час кожного кроку. Наприклад, якщо потрібно зберегти загальний вигляд вже створеного зображення, але додати нові елементи, зменшення параметра Denoise допоможе втручатися мінімально.
Цей параметр дає можливість користувачам отримати більший контроль над кінцевим результатом, залежно від того, наскільки ви сильно хочете втручатися в процес модифікації зображення.
Seed
Варіативність генерації. Ви завжди можете повернутися до попереднього варіанту, вказавши точний Seed.
Налаштування ControlNet для точної генерації
Depth
Цей модуль використовує карту глибини, що допомагає моделі краще розуміти простір та відстань об'єктів від камери.
Edge
Працює з контурами та лініями на зображенні, щоб контролювати форму або межі об'єктів. Це ідеально підходить для створення чітко окреслених структур або силуетів.
IP-Adapter
Адаптивний модуль налаштовує модель на роботу із зображеннями, згенерованими через інші джерела, зберігаючи їх ключові риси, але даючи впливати на кінцевий результат.
Bake Result
Після того як ви натиснули Generate image і ваше зображення з'явилося у Viewport, вибираємо нашу площину та натискаємо кнопку Bake result, як показано на скріншоті нижче. Таким чином, ми збережемо це зображення на наш комп'ютер.
Скрипт AI Texture Projection
Скористайтеся скриптом від MastaMan - AI Texture Projection, який допоможе створити матеріал із запеченою текстурою фону.
Крім того цей скрипт допоможе стиснути зображення і зі 100 мегабайт до кількох кілобайт, що дозволяє без проблем відображатися матеріалу в Viewport і коректно рендеріться.
Завантажити AI Texture ProjectionЗавантажте архів та вийміть скрипт. Перетягніть MG AI Texture Projection.ms у Viewport, щоб запустити скрипт. Або ж перетягніть у Viewport скрипт Install.mcr, якщо ви хочете додати кнопку на панель інструментів або Quad Menu.
У Projection Image вибираємо згенероване зображення заднього фону, у Viewport вибираємо нашу площину або об'єкт для якого ми робили запікання. Натискаємо кнопку Project On Object. Готово!
Картинка буде застосована до площини і тепер можна зі сцени видалити ціле місто, що значно полегшить нашу сцену.
Кінцевий результат
У такий спосіб ви можете мати опрацьоване зображення заднього фону навіть на етапі Drafts, значно полегшити сцену та прискорити рендер.
Якщо вам цікава тема AI і хочете дізнатися які ще є способи його застосування, заходьте на Patreon, де Oleh ділиться відмінними відео та особистим досвідом. Посилання на Patreon буде наприкінці статті.
Результат до tyDiffustion
Результат після tyDiffusion
Якщо вам цікавий такий формат, де великі компанії розповідають про свою "кухню" і вам цікаве технічне інтерв'ю, обов'язково напишіть про це у коментарях!
Висновок
Завдяки сучасним технологіям та tyDiffusion AI, ви можете створити реалістичний задній план за лічені хвилини.
Це дозволить не лише розвантажити вашу сцену та прискорити рендер, а й вивести якість ваших картинок на новий рівень! І все це безпосередньо робиться не виходячи із 3Ds Max!
Сподобався результат чи хочете розповісти про свій досвід використання AI – поділіться у коментарях. Цікаво буде почитати!
{{comment.text}}