Что такое Viggle AI? Инструмент для создания мемов и анимации, ставший вирусным.

Кто-то добавил персонажа со стоковой фотографии в танец из Fortnite, и это выглядело... неплохо. Не так, как "хорошо для ИИ". А действительно хорошо. Плавные движения. Физика, которая имела смысл. Вес персонажа естественным образом смещался при вращении, его одежда двигалась как настоящая ткань, и на создание всего этого ушло, может быть, две минуты. Это видео появилось в Твиттере в начале 2024 года, и уже через неделю все говорили об ИИ Viggle.

Я увидел ролик, предположил, что это тщательно отобранный маркетинговый контент, и решил попробовать сам. Загрузил фотографию, выбрал шаблон танцевального движения, подождал около девяноста секунд. Результат был несовершенным, но действительно впечатляющим. Персонаж с моей фотографии танцевал. В 3D. С физикой. Бесплатно. На Discord-боте. Именно тогда я понял, что этот инструмент отличается от обычной шумихи вокруг видеороликов с использованием ИИ.

Viggle за год вырос с нуля до 1,6 миллиона участников Discord. Он стал движком, стоящим за половиной мемов, созданных с помощью ИИ, в социальных сетях в 2024 году. А лежащая в его основе технология, модель JST-1, которая действительно понимает трехмерную физику, а не просто сопоставляет двухмерные пиксели, представляет собой нечто действительно новое в сфере видео с использованием ИИ. В этой статье мы рассмотрим, что такое Viggle, как работает JST-1, как шаг за шагом использовать этот инструмент и как он сравнивается с более крупными игроками на рынке генерации видео с помощью ИИ.

Что такое Viggle AI и почему это важно

Viggle AI — это платформа для анимации персонажей, которая берет статичное изображение человека или персонажа и заставляет его двигаться. Причем не в том неуклюжем стиле «масштабирования и панорамирования фотографии», который используют большинство инструментов ИИ. Viggle генерирует реальное трехмерное движение. Персонаж поворачивается, ходит, танцует, прыгает, и движение учитывает законы физики: гравитацию, перенос веса, драпировку ткани, инерцию.

Компания была основана командой специалистов в области компьютерного зрения и 3D-моделирования. Они создали JST-1, что расшифровывается как Joint Space-Time (объединенное пространство-время), и описывают его как «первую видео-3D базовую модель, основанную на реальном понимании физики». Это утверждение заслуживает подробного анализа, поскольку именно оно отличает Viggle от всего остального в своей категории.

Большинство инструментов для создания видео с использованием ИИ (Runway Gen-3, Pika, Kling) генерируют видео, предсказывая, как должен выглядеть следующий кадр на основе предыдущего. Они работают в двумерном пиксельном пространстве. Результат выглядит хорошо до тех пор, пока персонажу не нужно повернуться боком, взаимодействовать с объектом или двигаться способом, который не был охвачен обучающими данными. Тогда начинаются странности: конечности проходят сквозь тела, пропорции меняются, гравитация перестает работать.

JST-1 использует другой подход. Он восстанавливает трехмерное представление персонажа из входного изображения, понимает скелетную структуру персонажа, а затем анимирует эту трехмерную модель в соответствии с физическими правилами, прежде чем отрендерить окончательный двухмерный видеовыход. У персонажа есть объем, вес и суставы. Когда он танцует, ноги отталкиваются от земли с нужной силой. Когда он поворачивается, перспектива меняется правильно, потому что модель знает, что у персонажа есть спина, а не только передняя часть.

Идеален ли результат? Нет. В сложных сценах по-прежнему появляются артефакты. Взаимодействие нескольких персонажей ненадежно. И модель лучше всего работает с персонажами мультфильмов и аниме, чем с фотореалистичными людьми. Но для анимации одного персонажа из статичного изображения Viggle выдает результаты, которые я не видел ни у одного потребительского инструмента в этом ценовом диапазоне. Который, кстати, бесплатен.

Как использовать Viggle AI: пошаговое руководство

Viggle работает в двух средах: веб-приложении и Discord-боте. Discord-бот появился первым и до сих пор является основным интерфейсом для сообщества. Вот как работает каждая из основных функций.

Микс: главное событие

Именно функция Mix сделала Viggle вирусным. Вы задаете два входных параметра: изображение персонажа и видео с движением. Viggle извлекает персонажа из изображения, накладывает его на движение из видео и отображает результат.

Пошаговая инструкция: откройте веб-приложение Viggle или Discord. Используйте команду /mix. Загрузите четкое изображение персонажа (один человек, видимое тело, хорошее освещение). Загрузите короткое видео с желаемым движением (танец, ходьба, жест). Выберите фон: зеленый экран, белый или оригинальный. Нажмите «Сгенерировать». Подождите 60-120 секунд. Вы получите видео, где ваш персонаж выполняет движение из эталонного клипа.

Результаты во многом зависят от ваших входных данных. Лучше всего работают четкие изображения персонажей с видимыми конечностями. Неаккуратный фон, скрытые части тела или экстремальные ракурсы сбивают модель с толку. Видеоролики с движением лучше всего работают, когда показывают одного человека, выполняющего четкие, отчетливые движения. Тонкие жесты сложнее передать, чем сложные танцы.

Перемещение: анимация с сохранением фона.

Move похож на Mix, но сохраняет исходный фон персонажа. Загрузите изображение персонажа, загрузите видео с движением, и система анимирует персонажа, сохраняя при этом сцену, в которой он находится. Полезно, когда нужен контекст: человек за рабочим столом внезапно начинает танцевать, персонаж в парке делает «волну».

Придумайте и оформите.

Ideate генерирует концепции видеороликов на основе текстовых подсказок. Опишите, что вы хотите, и модель создаст видео. Stylize позволяет изменять визуальный стиль существующего персонажа или анимации. Оба инструмента более экспериментальны, чем Mix и Move, и результаты менее предсказуемы.

Команда /character

Это позволяет создать постоянного персонажа, которого можно использовать в нескольких анимациях. Загрузите изображение один раз, сохраните его как персонажа и ссылайтесь на него в будущих миксах, не загружая его заново каждый раз. Для создателей контента, разрабатывающих повторяющегося персонажа (талисман, аватар, фирменный образ), это значительно экономит время.

Ценообразование Viggle: что бесплатно, а что платно

Viggle использует модель freemium, и бесплатный тариф на удивление щедр по сравнению с большинством инструментов для работы с видео на основе ИИ.

Примечательно положение о правах на коммерческое использование. Viggle заявляет, что сгенерированный контент «полностью бесплатен для использования» и предоставляет «полные права на коммерческое использование каждого созданного вами видео». Это необычно. Большинство платформ для создания видео с использованием ИИ либо ограничивают коммерческое использование на бесплатных уровнях, либо взимают плату за корпоративное лицензирование. Viggle же позволяет использовать результат для маркетинга, социальных сетей или любых коммерческих целей без дополнительных сборов.

Цены на премиум-версию со временем изменились и варьируются в зависимости от региона. Актуальные тарифы можно узнать непосредственно на сайте viggle.ai. На момент последней проверки платный тариф стоил менее 20 долларов в месяц и в основном включал удаление водяных знаков, повышение приоритета в очереди и увеличение ежедневных лимитов генерации.

Виггл против Ранвей против Пика против Клинг: где это уместно?

Рынок генерации видео с помощью ИИ быстро стал переполненным. Вот как Viggle выглядит по сравнению с инструментами, с которыми его чаще всего сравнивают.

Viggle не пытается конкурировать с Runway по кинематографическому качеству. Он не пытается заменить Pika для создания коротких видеороликов для социальных сетей. Его специализация — анимация персонажей: взять статичное изображение человека или персонажа и заставить его убедительно двигаться. В этом конкретном направлении понимание физики JST-1 дает ему преимущество, недоступное пиксельным инструментам.

Недостаток Viggle заключается в том, что он не может генерировать видео с нуля, как это делают Runway или Pika. Необходимы входное изображение и эталон движения. Это анимация, а не генерация. Длительность выходного видео ограничена 30 секундами. И в настоящее время он лучше всего работает с иллюстрированными или мультяшными персонажами. Фотореалистичные изображения людей иногда попадают в «зловещую долину», где 3D-реконструкция создает едва заметные искажения в чертах лица и текстуре кожи.

Преимущество Viggle в том, что качество анимации не имеет себе равных в этом ценовом диапазоне. Бесплатная модель Viggle с качественными входными данными создает более реалистичные движения, чем модель, созданная по подписке Runway за 76 долларов в месяц. Это потому, что модель Viggle действительно понимает трехмерное пространство, в то время как другие модели лишь угадывают его по двухмерным шаблонам.

Для чего на самом деле использовать Viggle: реальные примеры применения

Использование мемов привело к тому, что у Viggle стало 1,6 миллиона участников в Discord, но есть и другие практические применения.

Создатели контента используют его для анимации своих аватаров или образов в социальных сетях. Ютубер с мультяшным персонажем-аватаром может заставить этого персонажа танцевать, махать рукой или реагировать в видео, не нанимая аниматора. Создатели контента в TikTok заставляют персонажей из фотографий исполнять популярные танцы. Время выполнения, менее двух минут на ролик, делает возможным ежедневное создание анимированного контента.

Малые предприятия и маркетологи используют его для быстрой анимации рекламных роликов. Ресторан может сфотографировать своего талисмана и заставить его танцевать в рекламе в социальных сетях. Бренд электронной коммерции может анимировать персонажа своего продукта для эффектного сюжета. Бесплатная стоимость и возможность коммерческого лицензирования делают его доступным для предприятий, которые не могут позволить себе студии моушн-дизайна.

Независимые разработчики игр и художники-раскадровщики используют его для прототипирования. Прежде чем вкладывать средства в полноценную анимацию, они могут проверить, как персонаж выглядит в движении. Удачна ли поза? Передает ли движение эмоции? Viggle дает приблизительный, но быстрый ответ.

В сфере образования это неожиданный, но вполне логичный пример использования. Преподаватели и создатели курсов берут талисман-персонажа и анимируют его для пояснительных видеороликов. Это гораздо привлекательнее, чем статичное изображение на слайдах. Персонаж, который жестикулирует, объясняя фотосинтез, удерживает внимание 12-летнего ребенка дольше, чем текст и стрелки. Я видел, как преподаватели языков в TikTok используют Viggle для создания анимированных персонажей, демонстрирующих приветствия в разных культурах. Креативно, не требует больших усилий, и это работает.

Ограничения и на что следует обратить внимание

Viggle впечатляет, но у него есть реальные ограничения.

Поддерживаются изображения людей, но модель явно оптимизирована для иллюстрированных персонажей. Фотореалистичные результаты получаются неоднозначными. Лица иногда попадают в «зловещую долину». Руки... улучшаются, но всё ещё остаются слабым местом любого существующего инструмента для обработки видео с помощью ИИ.

Ограничение в 30 секунд означает, что вы не можете создавать длинные видеоролики. Для чего-либо, кроме короткого клипа, вам потребуется смонтировать несколько фрагментов вместе.

Вопрос конфиденциальности вполне обоснован. Вы загружаете изображения и видео в облачный сервис. На сабреддите, посвященном конфиденциальности, была тема о методах обработки данных компанией Viggle, и хотя компания внедрила модерацию контента и метаданные C2PA для отслеживания, следует подумать, прежде чем загружать конфиденциальные личные фотографии. Особенно фотографии других людей без их согласия. Потенциал использования дипфейков очевиден, и этическая ответственность лежит на пользователе.

Отсутствие API означает отсутствие автоматизированных рабочих процессов. Если вы хотите интегрировать Viggle в свой продукт или программно генерировать сотни анимаций, вам пока не повезло. Все происходит вручную через веб-приложение или Discord.

Также пока нет мобильного приложения, которое бы полностью воспроизводило весь набор функций. Приложение для iOS существует, но это упрощенная версия, ориентированная на шаблоны мемов, а не на полный рабочий процесс Mix/Move. А зависимость от Discord, хотя и является частью формирования сообщества, создает неудобства для пользователей, которые не пользуются Discord. Необходимость присоединяться к серверу, изучать команды слэша и ждать в публичной очереди — это не совсем обычный опыт работы с программным обеспечением. Веб-приложение помогает, но оно все еще находится в разработке и ему не хватает некоторых функций.

Jordan Morris

Jordan Morris is an AI expert with over a decade of experience and the author of a widely-read blog focused on artificial intelligence. His content spans a range of topics—from the ethics of machine learning to real-world applications of neural networks in business. Known for his clear writing and deep insights, Jordan has become a trusted voice in the AI community, appealing to both newcomers and seasoned professionals alike.