Компания Luma, поддерживаемая фондом a16z и специализирующаяся на ИИ-видео и 3D-моделях, представила новую модель под названием Ray3 Modify. Эта модель позволяет пользователям изменять существующие видеозаписи, задавая эталонные изображения персонажей, при этом сохраняя оригинальное движение и эмоциональные выражения актёров.
Ray3 Modify решает проблему контроля над человеческой производительностью при редактировании или создании эффектов с помощью ИИ, что особенно важно для творческих студий. Модель лучше "следует" исходному видео, благодаря чему можно комбинировать реальную съёмку и ИИ-редактирование.
С помощью Ray3 Modify можно задавать эталонные изображения персонажа для преобразования внешности актёра на видео. Это позволяет сохранять такие детали, как костюмы, черты лица и идентичность персонажа на протяжении всей сцены.
Ещё одной важной возможностью является создание видео, если пользователь предоставляет начальный и конечный кадр. Модель может сгенерировать промежуточные кадры между этими двумя точками, что помогает контролировать переходы, движения персонажей и поведение в сценах, сохраняя непрерывность видео.
Представители компании отмечают, что генеративные видео-модели очень выразительны, но их трудно контролировать. Новая модель сочетает реальные кадры с возможностями ИИ и даёт творческим командам больше управления процессом.
Ray3 Modify доступна пользователям через платформу Dream Machine от Luma. Эта модель выходит на фоне активного развития ИИ-инструментов для создания и редактирования медиа-контента.