Alibaba запустила безкоштовну нейромережу для «пожвавлення» персонажів із зображень

Її можна завантажити на комп'ютер.

Alibaba запустила безкоштовну нейромережу Wan2.2-Animate з відкритим вихідним кодом. Вона здатна «оживляти» людей, персонажів аніме та тварин із фото. Для цього їй потрібно надати вихідник із героєм та ролик із рухами, які потрібно повторити.

Модель працює у двох режимах. У першому руху та міміка з відео копіюються на персонажа з картинки, у другому персонаж у відео замінюється на зображення, а фон залишається тим самим.

Порівняно з попередньою моделлю, нова версія забезпечує покращену якість анімації та більш високу точність передачі мови тіла. Розробники досягли цього завдяки інтеграції скелетних та лицьових сигналів.

Модель вже доступна на GitHub та Hugging Face, у генераторі Wan, а також через API на платформі Alibaba Cloud. Її можна завантажити і використовувати локально – для повноцінної роботи знадобиться відеокарта рівня Nvidia RTX 4090.