OmniHuman 2.0: превратите одну фотографию и аудио в 5-минутное выступление

OmniHuman 2.0 — аудио-управляемая модель видео-аватаров от ByteDance. Загрузите одно изображение и голосовую дорожку или трек, и она сгенерирует целое выступление: губы, мимика, жесты и движения тела будут следовать тону и смыслу аудио — в одном дубле длительностью до 5 минут. Посмотрите официальные примеры и попробуйте OmniHuman 2.0 на Nereo за 5 кредитов в секунду.

Говорящее фото

Опишите выступление
OmniHuman 2.0OmniHuman 2.0
0/5000

Возможности OmniHuman 2.0 и официальные примеры

Режиссируйте сцену с помощью текстового промпта

Помимо аудио, короткий промпт может задать конкретное действие, движение камеры или реквизит, которого нет на фото. Это разница между говорящей головой и поставленной сценой.

Официальный пример

Официальный пример BytePlus управления промптом: действия персонажа и движение камеры следуют текстовому промпту, а голос управляет выступлением.

OmniHuman 2.0

Певец из одного изображения

Дайте OmniHuman 2.0 вокальный трек, и лицо передаст текст, протяжные ноты и дыхание, с движениями в ритме. Держите вокал чистым и громким в миксе.

Официальный пример

Официальный пример BytePlus ритмичного вокального выступления, сгенерированного из одного изображения и песни.

OmniHuman 2.0

Кинематографичные эмоции, управляемые словами

Модель читает контекст аудио, а не только его звуки, поэтому напряжение, гнев или облегчение проявляются в жестах и выражении лица так, как это сделал бы актёр.

Официальный пример

Официальный пример BytePlus эмоционального, кинематографичного выступления, управляемого диалогом.

OmniHuman 2.0

Животные и стилизованные персонажи

OmniHuman 2.0 не ограничивается реальными людьми. Талисманы, 3D-персонажи и животные могут говорить или петь, если их глаза и рот чётко прорисованы.

Официальный пример

Официальный пример BytePlus животного персонажа, оживлённого с помощью аудио.

OmniHuman 2.0

Понимание аудио

Выражение меняется в зависимости от подачи: одно и то же лицо выглядит по-разному, когда строку поют мягко, мощно или произносят с улыбкой.

Официальный пример

Официальный пример BytePlus, показывающий, как выступление следует за чувством аудио.

OmniHuman 2.0

Персонажи, взаимодействующие со сценой

Промпты могут описывать, как персонаж движется в окружающей среде, так что кадр ощущается как сцена, а не портрет с движущимся ртом.

Официальный пример

Официальный пример BytePlus взаимодействия с окружающей средой, описанного в промпте.

OmniHuman 2.0

Как использовать OmniHuman 2.0

Фото и аудио определяют большую часть результата. Короткий промпт необязателен.

1

Выберите одно чёткое изображение

Используйте изображение JPG, PNG или WebP размером до 20 МБ с одним лицом, смотрящим в камеру, простым или мягко размытым фоном и расслабленным ртом. Кадрируйте так, как хотите видеть видео, и выбирайте вертикальный или широкий формат в зависимости от площадки.

2

Подготовьте аудио

Загрузите голосовую дорожку, песню или диалог в MP3 или WAV размером до 15 МБ и длительностью от 4 до 299 секунд. Голос должен быть чистым, без пауз; каждая секунда аудио становится секундой видео.

3

Добавьте короткое указание и сгенерируйте

При желании опишите настроение, жесты или движение камеры в одном-двух предложениях. Сначала протестируйте короткий фрагмент, затем запустите полный трек.

Для чего создатели используют OmniHuman 2.0

Каждый вариант использования начинается с одного изображения и одной записи.

Курсы и уроки

Проведите полный урок в одном дубле, чтобы инструктор выглядел одинаково на четвёртой минуте и на первой, и ничего не нужно было склеивать.

Реклама с представителем и UGC

Превратите фото ведущего в объяснения продукта и рекламу в стиле отзывов, затем создавайте новые версии, меняя озвучку.

Музыкальные выступления

Дайте вокальный трек портрету или персонажу и получите выступление, следующее протяжным нотам, дыханию и ритму.

Талисманы и персонажи

Позвольте брендовому талисману, 3D-персонажу или животному произносить реплики для рекламы, детского контента и интро каналов.

Интервью и диалоги

Ставьте двухперсонажные разговоры и скетчи под управлением одной диалоговой дорожки, затем проверьте, что каждая реплика попадает на нужное лицо.

Локализованные сообщения

Соедините одно и то же изображение представителя с переведёнными голосовыми дорожками, чтобы передать одно сообщение на нескольких языках.

OmniHuman 2.0 против OmniHuman 1.5

FeatureOmniHuman 2.0OmniHuman 1.5
Входные данные1 изображение + аудио + необязательный промпт1 изображение + аудио + необязательный промпт
Макс. длина аудио / видео4–300 секундМенее 60 секунд
Выходное разрешениеНативное 720p720p или 1080p
АудиоформатыWAV, MP3 (до 15 МБ)MP3, WAV, M4A на Nereo
Многоперсонажные сценыКлючевая функцияЧерез дополнительные шаги API
Цена API BytePlus$0.07 за секунду$0.12 за секунду
На NereoДоступно, 5 кредитов в секундуДоступно, 8.5 кредитов в секунду

Планирование задачи OmniHuman на Nereo

OmniHuman 2.0 стоит 5 кредитов за секунду видео на Nereo. Селектор модели и оценка кредитов в инструменте показывают точную стоимость до генерации.

Оплата по секундам вывода

OmniHuman 2.0 стоит 5 кредитов за секунду видео, а OmniHuman 1.5 — 8.5, поэтому длительность аудио определяет стоимость.

Сначала протестируйте короткий фрагмент

Запустите 10–15 секунд перед длинным дублем, чтобы проверить синхронизацию губ, руки и стабильность фона.

Обрежьте тишину

Удалите тихие секунды в начале и конце дорожки; они тоже становятся оплачиваемым видео.

Выберите подходящую модель

Используйте OmniHuman 2.0 для длинных дублей и выразительных выступлений, а для чётких коротких клипов в 1080p переключайтесь на OmniHuman 1.5.

Упростите фото

Одно лицо и простой фон уменьшают дрейф и самопроизвольное движение других лиц.

Проверьте права и согласие

Анимируйте только те изображения и голоса, которыми вы владеете или на использование которых у вас есть разрешение, и соблюдайте правила раскрытия ИИ на платформах.

OmniHuman 2.0: сильные стороны и практические соображения

Плюсы

  • Длинные одиночные дубли — До 5 минут без склеек, что подходит для уроков, полных песен и длинных объяснений.
  • Выразительное выступление с учётом аудио — Жесты и выражение лица следуют тону и смыслу записи, а не только её звукам.
  • Более низкая цена за секунду — BytePlus указывает 2.0 по цене $0.07 за секунду, примерно на 40% меньше, чем 1.5.

Минусы

  • Вывод 720p — 2.0 задокументирован как нативное 720p, поэтому для больших экранов может потребоваться апскейлинг.
  • Пока нет опубликованных бенчмарков — BytePlus делится демонстрациями и характеристиками, но без количественного сравнения, и занятые фоны всё ещё могут дрейфовать.

Часто задаваемые вопросы об OmniHuman 2.0

Find answers to common questions about our AI video generation service.








Дайте вашему фото голос