Найкращий графічний процесор для Stable Diffusion і AnimateDiff - бенчмарк GeForce RTX 4070 Ti SUPER 16G GPU
Відеокарти
Завдяки появі RTX 4070 Ti SUPER зі збільшеним буфером VRAM ємністю 16 ГБ (у порівнянні з попередньою моделлю RTX 4070 Ti з 12 ГБ), тепер ви можете обрати оптимальне рішення з лінійки NVIDIA RTX 40-ї серії.
Після першого етапу тестування, ми вирішили поставити нашим експертам складніше завдання – провести бенчмарк графічних процесорів NVIDIA за допомогою AnimateDiff (Text-to-Video Generation with AnimateDiff (huggingface.co)) для створення анімованих зображень з використанням текстових і відеоданих.
Однак цього разу ми порівняємо нещодавно випущену RTX 4070 Ti SUPER з флагманами минулого покоління - RTX 3080 Ti і RTX 3080.
Як працює AnimateDiff?
AnimateDiff - це інструмент, який поєднує модель Stable Diffusion з моделлю Motion, що дозволяє генерувати анімоване відео/GIF з текстовим або відеовводом..
VRAM та АІ-моделі: Скільки достатньо?
Завдяки буферу VRAM об'ємом 16 ГБ і потужності графічного процесора RTX 4070 Ti SUPER повинна працювати значно краще, ніж її конкуренти минулого покоління. Більший об'єм VRAM RTX 4070 Ti SUPER допоможе краще впоратися з деякими завданнями, але будь-який графічний процесор з об'ємом пам'яті понад 12 ГБ повинен працювати добре.
Модель Stable Diffusion XL від Stability AI потребує мінімум 8 ГБ VRAM. Отже, давайте дамо їй трохи більше потужності і з'ясуємо, чи зможемо ми помітно прискорити виконання завдань з генерації зображень.
Тест AnimateDiff : RTX 4070 Ti SUPER 16G проти RTX 3080 Ti 12G проти RTX 3080 10G
Окрім використання пайплайну AnimateDiff, ми також проведемо кілька тестів за допомогою Stable Diffusion 1.7 (через WebUI), що дозволить вам оцінити поведінку цих графічних процесорів при різноманітних робочих навантаженнях.
Stable Diffusion 1.7 + ControlNet*2 + LoRA в WebUI (512x512)
Наш перший тест - задача генерації зображень з використанням 2-х ControlNet та LoRA.
[Запит: “masterpiece, best quality, high quality, highres, , cold tone, high tech, diamond, sharp line]
У цьому тесті ми бачимо, що RTX 4080 чомусь дещо розгубила перевагу над RTX 4070 Ti SUPER, і має лише невеликий приріст продуктивності. Однак обидві сучасні карти з легкістю перемагають чемпіонів минулого покоління від NVIDIA.
RTX 4070 Ti SUPER працює на 30% швидше, ніж RTX 3080 10G, а RTX 4080 SUPER - майже на 40% швидше. Саме RTX 4070 Ti SUPER пропонує тут чудову цінність завдяки гарному співвідношенню ціни та буфера VRAM.
Stable Diffusion XL + ControlNet*2 + LoRA в WebUI (1024x1024)
У нашому наступному тесті ми збільшили роздільну здатність до 1024x1024, щоб згенерувати кілька зображень за допомогою Stable Diffusion XL і 2 ControlNets + LoRA з наших попередніх тестів.
[Запит: masterpiece, best quality, high quality, highres, , cold tone, high tech, diamond, sharp line]
Результати знову трохи дивують: RTX 4080 16G випереджає конкурентів з величезним відривом у ~53% порівняно з RTX 3080 10G. Більше того, їй також вдалося випередити RTX 4070 Ti SUPER на ~21%.
[Stable Diffusion 1.7 GeForce RTX 4070 Ti SUPER 16G GPU Тест_1 виконаний MSI Lab]
Хоча RTX 4070 Ti SUPER не пропонує занадто великого покращення порівняно з RTX 3080 Ti 12G з відривом у 6,5%, їй вдається генерувати зображення на 26,6% швидше, ніж RTX 3080 10G.
AnimateDiff Text2Video + ControlNet в ComfyUI (576x1024)
Хоча під час виконання робочого навантаження Text2Video з використанням AnimateDiff у ComfyUI використання VRAM має зрости, ми не очікуємо, що воно зміниться надто радикально. Це очікувана поведінка, оскільки ми тестуємо на відносно низькій роздільній здатності (1024x1024), яка не буде занадто навантажувати VRAM.
У цьому тесті ми згенеруємо відеокарту з трьома вентиляторами з анімованими вентиляторами.
[Запит: masterpiece, best quality, graphics card, fan, 3D, high detail, no human, marble texture]
Хоча зображення виглядає не зовсім правильно (цілком нормально для зображень, згенерованих ШІ, без значного доопрацювання), воно чудово підійде нам для відстеження продуктивності.
Це чудовий результат для RTX 4070 Ti SUPER. Вона легко випереджає чемпіона минулого покоління - рендерить анімацію на 13% швидше, ніж RTX 3080 Ti 12G. Більше того, вона добряче потіснила RTX 3080, показавши на 35% швидший результат!
AnimateDiff Video2Video в ComfyUI (512x1024)
Пайплайн Video2Video для AnimateDiff дозволяє використовувати відео як вхідні дані і генерувати анімацію. Ми використаємо ComfyUI для цього завдання, оскільки він дає трохи більше гнучкості, ніж WebUI.
[Запит: masterpiece, best quality, graphics card, fan rotating, 3D, high detail, no human]
Результати цього тесту відповідають нашим очікуванням, і RTX 4070 Ti SUPER знову впевнено посідає перше місце. У наших тестах RTX 4070 Ti SUPER була на 10,5% швидшою за RTX 3080 Ti 12G і на 33% швидшою за RTX 3080 10G!
[Stable Diffusion 1.7 GeForce RTX 4070 Ti SUPER 16G GPU Тест_2 виконаний MSI Lab]
Розважаємося з AnimateDiff: Доктор Лакі використовує LoRA та ControlNet
Далі наша команда вирішила трохи розважитися і згенерувати анімованого Доктора Лакі ( див. нижче)! Для цього нам довелося використати як LoRA, так і ControlNet.
Ви зіткнетеся з обома або принаймні з одним із цих термінів, коли будете досліджувати створення зображень за допомогою ШІ, оскільки вони відіграють невід'ємну роль в отриманні придатних для використання результатів з набагато вищою надійністю. Отже, що це таке?
ControlNet та LoRA: Стислий огляд
ControlNet це нейромережева структура, яка дозволяє керувати моделями дифузії за допомогою додаткових умов. Отже, коли ви додаєте її до моделі, вона дозволяє контролювати кінцеве зображення, не задаючи їй нічого надто специфічного.
LoRA (Localized Representation Adjustment) це спосіб змінити результати стабільної дифузії на основі відносно вужчих понять, таких як художні стилі, персонажі або теми.
Створюємо нашого анімованого Лакі!
Щоб досягти цього чарівного очкастого результату, нам довелося тренувати нашу власну "Лакі" LoRA. Процес включав вибір правильного виду дракона, відповідної пози та багато іншого. Більше деталей про процес ви знайдете у нашому відео.
[Запит: masterpiece, best quality, 1dragon, (the dragon is red:1.2), the dragon is standing, the dragon is cute with small wings and one glasses, the wings is yellow, the glasses is black, cute, happy, room, without fur]
[Запит: masterpiece, best quality, 1dragon, the dragon is talking, red_skin, wings, glasses, the_glasses_is_black, (3D:1.1), (cute:1.2), happy, green_background,]
Найкращий графічний процесор для створення анімованих відео за допомогою AnimateDiff
Коли справа доходить до створення анімованих відео, навіть при низькій роздільній здатності, RTX 4070 Ti SUPER 16G легко випереджає навіть найкращих представників лінійки NVIDIA останнього покоління. Вимоги до VRAM зростають з підвищенням роздільної здатності, і ми очікуємо побачити ще більш значну різницю між цими графічними процесорами.
Якщо ваша робота пов'язана з регулярним створенням таких відео/анімацій/зображень, ви не помилитеся з відеокартою з буфером VRAM об'ємом 16 ГБ, як RTX 4070 Ti SUPER 16G. Завдяки більшому об'єму VRAM він не тільки працює краще, ніж будь-які моделі останнього покоління, у вищих роздільних здатностях, але й випереджає їх за базовою продуктивністю графічного процесора!
Стежте за нашими подальшими тестами, в яких ми змусимо ці графічні процесори генерувати анімацію ще вищої роздільної здатності та якості.
Огляд відеокарти MSI від Greenskull AI’s:
https://youtu.be/N5CaqC4bXc0?si=eQLKzJGrsNNiVSXw
Більше інйормації про тести Stable Diffusion 1.7 RTX GPU з GeForce RTX 4070 Ti SUPER:
https://youtube.com/shorts/OgOVtgPVJKA
Розважаємося з AnimateDiff: Створюємо Доктора Лакі за допомогою LoRA та ControlNet:
https://youtube.com/shorts/yEX_wZEKKJo
Детальніше про GeForce RTX™ 4070 Ti SUPER 16G GAMING X SLIM:
https://ua.msi.com/Graphics-Card/GeForce-RTX-4070-Ti-SUPER-16G-GAMING-X-SLIM
https://youtu.be/N5CaqC4bXc0?si=eQLKzJGrsNNiVSXw
Більше інйормації про тести Stable Diffusion 1.7 RTX GPU з GeForce RTX 4070 Ti SUPER:
https://youtube.com/shorts/OgOVtgPVJKA
Розважаємося з AnimateDiff: Створюємо Доктора Лакі за допомогою LoRA та ControlNet:
https://youtube.com/shorts/yEX_wZEKKJo
Детальніше про GeForce RTX™ 4070 Ti SUPER 16G GAMING X SLIM:
https://ua.msi.com/Graphics-Card/GeForce-RTX-4070-Ti-SUPER-16G-GAMING-X-SLIM
