Швидка генерація реалістичного фону за допомогою tyDiffsion AI

Vasyl Lukianenko
3D Artist and Technical Author

Дата: Жовтень 30, 2024 Оновлено: Листопад 7, 2024 Час читання: 8 min Перегляди: 1109

Вступ

Я вирішив продовжити розвивати тему AI і як це допомагає у роботі 3D художнику.
Попередня стаття “Як Chat GPT та DALLE можуть допомогти 3D-художникам у їхній роботі”, вам дуже сподобалася та багато користувачів написало цікаві коментарі до цієї статті.

Як Chat GPT та DALL-E можуть допомогти 3D-художникам у їхній роботі

У цій статті буде показано предметніше, як можна використовувати генератор картинок прямо в 3Ds Max завдяки tyDiffusion. Де в результаті ми отримаємо реалістичний задній план за кілька кліків із мінімальними зусиллями.

Передмова

Під час співпраці з MaryGold Studio мені вдалося поспілкуватися з деякими з їхніх співробітників. Розповідаючи про свої проекти, вони показали кілька неймовірних рендерів.

Розмова незручно перетворилася на інтерв'ю, але мені вдалося дізнатися деякі секрети. Дуже дякую Oleh за надану інформацію та бажання поділитися такими крутими знаннями з аудиторією.

Якщо вам цікавий сам майстер-клас, можете пропустити наступний діалог.
Oleh показує рендери останніх проектів.

MastaMan: Як вам вдається створювати такі чудові картинки таких масштабів. Картинка виглядає гіперреалістично і що найбільше мене вражає наскільки опрацьований задній план!

Oleh: Так, це стало можливим завдяки останнім технологіям AI.

MastaMan: О, це цікаво. Ви використовуєте Stable Diffusion?

Oleh: І так і ні. Ми використовуємо tyDiffusion від плагіна tyFlow на основі Stable Diffusion і генеруємо картинки прямо в 3Ds Max безпосередньо в Viewport.

MastaMan: Ого, я навіть не знав, що можна генерувати картинки прямо в Viewport.

Oleh: Але це ще не все, ми також використовуємо платний інструмент Magnific AI.

MastaMan: Ви використовуєте його у зв'язці з tyDiffusion?

Oleh: Так, він допомагає виправити деякі “косяки” після tyDiffusion.

MastaMan: А наскільки складний процес генерації, наприклад, заднього плану для рендеру?

Oleh: Насправді весь процес нескладний, потрібно знати деякі базові налаштування та правильно скласти Prompt.

MastaMan: Я так розумію скоро AI стане невід'ємною частиною в роботі 3D художника, інструменти стають дедалі простішими та доступнішими.

Oleh: Це природний процес і все до цього йде. Але є моменти, пов'язані з рутиною і поки їх не можна позбутися.

MastaMan: Це можна вирішити написанням скрипта?

Oleh: Думаю, так. Проблема в тому, що після генерації ми отримуємо картинку в форматі PNG з розміром файлу більше 100 Мб і застосувати такий матеріал до заднього фону проблематично, він просто не відображається.

MastaMan: О, я стикався з такими проблемами, скрипт якраз ідеально впорається з цим завданням.

Oleh: Так процес створення заднього фону буде реально простим! Давай назвемо скрипт – AI Texture Projection.

Генерація фонового зображення міста за допомогою tyDiffusion для ваших рендерів

Для роботи нам знадобляться встановлений tyFlow з tyDiffusion. Цей інструмент можна завантажити безкоштовно.

Якщо у вас виникають складнощі, є окреме відео де це показано. Усі необхідні посилання я прикріплю наприкінці статті.

Підготовка

Необхідно підготувати сцену перед генерацією картинок. Ви можете просто призначити кольори на певні об'єкти, щоб дати зрозуміти AI, де у нас протікає річка, де розташована трава та зелені зони, дороги, будинки тощо. Таким чином, ми без втрати якості генерації може заощадити час на рендері початкового кадру з якого будемо виробляти генерацію.

Як бачите на скріншоті нижче, у сцені є досить масивна забудова, саме того району для якого створювався кінцевий рендер. Ви можете використовувати у своїх проектах 3D моделі від Google Maps чи платних сервісів, які надають такі послуги.

Ми не акцентуватимемо на цьому увагу, оскільки мета цього майстер-класу показати основні принципи роботи з AI.

Для кращого розуміння, наведено нижче скріншот того, що ми повинні будемо отримати.

Виставлення камери та пошук освітлення

У даному робочому процесі ми генеруємо задній план і оточення, тому нам треба визначити, де проходить межа, де ми будемо використовувати площину з текстурою фону, а де залишимо високополігональні моделі.

Все залежить від вашого ракурсу та ситуації. У цьому прикладі, річка буде межею, тому будуємо площину вздовж берегової лінії.

При цьому важливо, щоб наша площина була досить полігональною, для правильної проекції UVW за допомогою модифікатора від tyFlow.

plane for the projection background texture

Виставте освітлення, так само як і в майбутній сцені. Для того, щоб згенероване зображення AI точно збігалося з вашим освітленням.

Рендер ракурсу для генерації

Сховайте створену площину та інші об'єкти, які не повинні потрапити в кадр.

Хоча, tyDiffusion генерує зображення не більше 1280px по одній зі сторін, рендер даної картинки необхідно робити у високій роздільній здатності, щоб надати AI якнайбільше деталей, це безпосередньо впливає на результат генерації.

Запуск tyDiffusion

Ось ми й дісталися найцікавішого. Для запуску tyDiffusion, натисніть на меню Viewport: Standard → tyDiffusion…

Після чого у вас запуститься термінал Windows (Command Prompt), де запуск усіх необхідних процесів буде здійснено автоматично.

Якщо ви ще не встановлювали плагін tyFlow, перейдіть в кінець статті, там ви знайдете посилання на відео щодо швидкого встановлення даного плагіна.

Базові налаштування tyDiffusion

Promt

Тут ми прописуємо позитивні та негативні підказки (Prompts) для AI. Основна частина підказки повинна містити предметний опис, який ми повинні отримати.

Також необхідно написати деякі властивості, щоб поліпшити якість генерації. Вкажіть негативний Prompt, це допоможе уникнути деяких артефактів під час генерації.

Models

У Basic settings, ми вибираємо модель, яка йде у постачанні разом з tyDiffusion. Список моделей невеликий, але достатній для позитивного результату. Ми будемо використовувати Juggernaut Reborn (1.5).

VAE (Variational Autoencoder)

Один із важливих компонентів tyDiffusion, який використовується для стиснення та декодування зображень у процесі обробки. За замовчуванням параметри непогані, але рекомендую поекспериментувати з додатковими варіантами.

Resolution

Рекомендую використовувати значення, на яких навчалася модель, але можна експериментувати.

Mode

Тип генерації. У нашому випадку вибираємо Image to image.

Source

Джерело інформації. Вибираємо Render Color.

Sampler

Тут залишаємо все за замовчуванням.

Conserve VRAM

Вибираємо цей прапорець, якщо у вас мало відеопам'яті. У мене 24Гб і без неї вилітає програма.

Steps

Кількість проходів моделі під час прорахунку для тесту 20 для фінального результату 100+.

CFG scale (Classifier-Free Guidance Scale)

Це важливий параметр у tyDiffusion, який відповідає за баланс між творчістю та точністю зображення відповідно до Prompt.

По суті це контроль, наскільки сильно модель дотримуватиметься вашої текстової інструкції.

Denoise

Параметр Denoise визначає ступінь змін під час кожного кроку. Наприклад, якщо потрібно зберегти загальний вигляд вже створеного зображення, але додати нові елементи, зменшення параметра Denoise допоможе втручатися мінімально.

Цей параметр дає можливість користувачам отримати більший контроль над кінцевим результатом, залежно від того, наскільки ви сильно хочете втручатися в процес модифікації зображення.

Seed

Варіативність генерації. Ви завжди можете повернутися до попереднього варіанту, вказавши точний Seed.

Налаштування ControlNet для точної генерації

Depth

Цей модуль використовує карту глибини, що допомагає моделі краще розуміти простір та відстань об'єктів від камери.

Edge

Працює з контурами та лініями на зображенні, щоб контролювати форму або межі об'єктів. Це ідеально підходить для створення чітко окреслених структур або силуетів.

IP-Adapter

Адаптивний модуль налаштовує модель на роботу із зображеннями, згенерованими через інші джерела, зберігаючи їх ключові риси, але даючи впливати на кінцевий результат.

Bake Result

Після того як ви натиснули Generate image і ваше зображення з'явилося у Viewport, вибираємо нашу площину та натискаємо кнопку Bake result, як показано на скріншоті нижче. Таким чином, ми збережемо це зображення на наш комп'ютер.

Скрипт AI Texture Projection

Скористайтеся скриптом від MastaMan - AI Texture Projection, який допоможе створити матеріал із запеченою текстурою фону.

Крім того цей скрипт допоможе стиснути зображення і зі 100 мегабайт до кількох кілобайт, що дозволяє без проблем відображатися матеріалу в Viewport і коректно рендеріться.

Завантажити AI Texture Projection

Завантажте архів та вийміть скрипт. Перетягніть MG AI Texture Projection.ms у Viewport, щоб запустити скрипт. Або ж перетягніть у Viewport скрипт Install.mcr, якщо ви хочете додати кнопку на панель інструментів або Quad Menu.

У Projection Image вибираємо згенероване зображення заднього фону, у Viewport вибираємо нашу площину або об'єкт для якого ми робили запікання. Натискаємо кнопку Project On Object. Готово!

Картинка буде застосована до площини і тепер можна зі сцени видалити ціле місто, що значно полегшить нашу сцену.

Кінцевий результат

У такий спосіб ви можете мати опрацьоване зображення заднього фону навіть на етапі Drafts, значно полегшити сцену та прискорити рендер.

Якщо вам цікава тема AI і хочете дізнатися які ще є способи його застосування, заходьте на Patreon, де Oleh ділиться відмінними відео та особистим досвідом. Посилання на Patreon буде наприкінці статті.

Результат до tyDiffustion

Результат після tyDiffusion

Якщо вам цікавий такий формат, де великі компанії розповідають про свою "кухню" і вам цікаве технічне інтерв'ю, обов'язково напишіть про це у коментарях!

Висновок

Завдяки сучасним технологіям та tyDiffusion AI, ви можете створити реалістичний задній план за лічені хвилини.

Це дозволить не лише розвантажити вашу сцену та прискорити рендер, а й вивести якість ваших картинок на новий рівень! І все це безпосередньо робиться не виходячи із 3Ds Max!

Сподобався результат чи хочете розповісти про свій досвід використання AI – поділіться у коментарях. Цікаво буде почитати!

Посилання на корисні ресурси

FAQ

1. Про що ця стаття?

Стаття показує, як за допомогою AI-інструмента TyDiffusion швидко створювати реалістичні фонові зображення для архітектурної візуалізації та 3D-проєктів.

2. Що таке TyDiffusion?

TyDiffusion — це AI-інструмент для генерації та редагування зображень, який може допомагати створювати фони, концепти, референси та різні варіанти оточення для 3D-сцен.

3. Навіщо використовувати AI для створення фонів?

AI дозволяє значно скоротити час на пошук стокових зображень, фотозйомку або ручне створення фонового оточення.

4. Чи підходить TyDiffusion для архітектурної візуалізації?

Так. Інструмент можна використовувати для створення міських пейзажів, природи, неба, забудови та інших елементів оточення для ArchViz-проєктів.

5. Чи може AI створювати реалістичні фони?

Так. Сучасні AI-моделі здатні генерувати дуже деталізовані та фотореалістичні зображення, придатні для використання у візуалізаціях.

6. Чи можна використовувати власний рендер як основу?

Так. У багатьох випадках AI може працювати з наявним зображенням і допомагати доповнювати або замінювати фон.

7. Чи може TyDiffusion генерувати кілька варіантів фону?

Так. Однією з переваг AI є можливість швидко створювати різні варіанти оточення для вибору найкращого рішення.

8. Чи підходить TyDiffusion для створення природи та ландшафту?

Так. AI добре справляється з генерацією дерев, рослинності, парків, пагорбів, гір та інших природних елементів.

9. Чи можна створювати міське оточення?

Так. Інструмент може генерувати будівлі, дороги, міські пейзажі та інші елементи урбаністичного середовища.

10. Чи може AI допомогти зі зміною погоди?

Так. За допомогою AI можна швидко створювати варіанти з ясною погодою, хмарами, дощем, туманом, заходом сонця або вечірнім освітленням.

11. Чи підходить TyDiffusion для швидкого концептингу?

Так. Інструмент дозволяє швидко перевіряти різні ідеї та художні напрямки без необхідності витрачати багато часу на ручне опрацювання.

12. Чи може AI замінити HDRI або стокові фотографії?

Не завжди. У багатьох випадках AI може бути чудовою альтернативою, але вибір залежить від вимог конкретного проєкту.

13. Чи допомагає TyDiffusion прискорити робочий процес?

Так. Створення фону може займати хвилини замість годин, які зазвичай витрачаються на пошук або підготовку оточення.

14. Чи підходить інструмент для початківців?

Так. Навіть користувачі без досвіду роботи з AI можуть швидко отримувати корисні результати за допомогою текстових запитів.

15. Чи можна використовувати згенеровані фони в комерційних проєктах?

Це залежить від актуальних умов використання та ліцензії конкретного AI-сервісу. Перед комерційним використанням рекомендується ознайомитися з правилами платформи.

16. Яка головна перевага використання TyDiffusion для 3D-художників?

Головна перевага — швидке створення реалістичного оточення та можливість експериментувати з різними варіантами фону без значних витрат часу й ресурсів.

Vasyl Lukianenko
3D Artist and Technical Author

Vasyl Lukianenko is a 3D artist and technical author focused on practical workflows, optimization, and production-ready techniques. He publishes tutorials, courses, and tools to help artists work faster and get cleaner results.