OmniHuman 2.0 : transformez une photo et un audio en une performance de 5 minutes

OmniHuman 2.0 est le modèle de vidéo d'avatar piloté par l'audio de ByteDance. Fournissez une image et une piste vocale ou musicale, et il génère toute la performance, avec lèvres, expressions, gestes et mouvements corporels suivant le ton et le sens de l'audio, en une seule prise allant jusqu'à 5 minutes. Regardez les exemples officiels, puis utilisez OmniHuman 2.0 sur Nereo à 5 crédits par seconde.

Photo parlante

Décrivez la performance
OmniHuman 2.0OmniHuman 2.0
0/5000

Fonctionnalités et exemples officiels d'OmniHuman 2.0

Dirigez la scène avec un prompt textuel

Au-delà de l'audio, un court prompt peut demander une action spécifique, un mouvement de caméra ou un accessoire absent de la photo. C'est la différence entre une tête qui parle et une scène mise en scène.

Exemple officiel

Exemple officiel BytePlus de contrôle par prompt : les actions du personnage et les mouvements de caméra suivent le prompt textuel tandis que la voix pilote la performance.

OmniHuman 2.0

Un chanteur à partir d'une seule image

Fournissez une piste chantée à OmniHuman 2.0 et le visage porte les paroles, les notes tenues et les respirations, avec des mouvements qui suivent le rythme. Gardez la voix claire et forte dans le mix.

Exemple officiel

Exemple officiel BytePlus d'une performance chantée rythmée générée à partir d'une image et d'une chanson.

OmniHuman 2.0

Émotion cinématographique, portée par les mots

Le modèle lit le contexte de l'audio, pas seulement ses sons, ainsi la tension, la colère ou le soulagement se manifestent dans les gestes et l'expression comme le ferait un acteur.

Exemple officiel

Exemple officiel BytePlus d'une performance émotionnelle et cinématographique portée par le dialogue.

OmniHuman 2.0

Animaux et personnages stylisés

OmniHuman 2.0 ne se limite pas aux personnes réelles. Les mascottes, les personnages 3D et les animaux peuvent parler ou chanter lorsque leurs yeux et leur bouche sont clairement dessinés.

Exemple officiel

Exemple officiel BytePlus d'un personnage animalier animé par l'audio.

OmniHuman 2.0

Compréhension audio

L'expression change avec l'interprétation : le même visage semble différent lorsque la réplique est chantée doucement, criée ou prononcée avec un sourire.

Exemple officiel

Exemple officiel BytePlus montrant la performance suivant le ressenti de l'audio.

OmniHuman 2.0

Des personnages qui interagissent avec la scène

Les prompts peuvent décrire comment un personnage se déplace dans l'environnement, pour que le plan ressemble à une scène plutôt qu'à un portrait avec une bouche qui bouge.

Exemple officiel

Exemple officiel BytePlus d'interaction environnementale décrite dans le prompt.

OmniHuman 2.0

Comment utiliser OmniHuman 2.0

La photo et l'audio déterminent la majeure partie du résultat. Un court prompt est optionnel.

1

Choisissez une image claire

Utilisez une image JPG, PNG ou WebP jusqu'à 20 Mo avec un visage tourné vers la caméra, un arrière-plan uni ou légèrement flou, et une bouche détendue. Cadrez-la comme vous souhaitez la vidéo, et choisissez le format vertical ou large selon le support de diffusion.

2

Préparez l'audio

Téléversez une piste vocale, une chanson ou un dialogue MP3 ou WAV jusqu'à 15 Mo et d'une durée comprise entre 4 et 299 secondes. Gardez la voix claire et supprimez les silences ; chaque seconde d'audio devient une seconde de vidéo.

3

Ajoutez une courte direction et générez

Décrivez éventuellement l'ambiance, les gestes ou les mouvements de caméra en une ou deux phrases. Testez d'abord un court extrait, puis lancez la piste complète.

Ce pour quoi les créateurs utilisent OmniHuman 2.0

Chaque cas d'usage part d'une image et d'un enregistrement.

Cours et leçons

Donnez une leçon complète en une seule prise, pour que l'instructeur paraisse identique à la quatrième minute qu'à la première, sans rien à monter.

Publicités avec porte-parole et UGC

Transformez une photo de présentateur en explications produit et en publicités de type témoignage, puis créez de nouvelles versions en changeant la voix off.

Performances musicales

Donnez une piste chantée à un portrait ou un personnage et obtenez une performance qui suit les notes tenues, les respirations et le rythme.

Mascottes et personnages

Laissez une mascotte de marque, un personnage 3D ou un animal débiter des répliques pour des publicités, du contenu jeunesse et des intros de chaîne.

Interviews et dialogues

Mettez en scène des conversations à deux et des sketches pilotés par une seule piste de dialogue, puis vérifiez que chaque réplique tombe sur le bon visage.

Messages localisés

Associez la même image de porte-parole à des pistes vocales traduites pour diffuser un message en plusieurs langues.

OmniHuman 2.0 vs OmniHuman 1.5

FeatureOmniHuman 2.0OmniHuman 1.5
Entrées1 image + audio + prompt optionnel1 image + audio + prompt optionnel
Durée max audio / vidéo4–300 secondesMoins de 60 secondes
Résolution de sortie720p natif720p ou 1080p
Formats audioWAV, MP3 (moins de 15 Mo)MP3, WAV, M4A sur Nereo
Scènes multi-personnesFonctionnalité cléVia des étapes API supplémentaires
Prix de l'API BytePlus0,07 $ par seconde0,12 $ par seconde
Sur NereoDisponible, 5 crédits par secondeDisponible, 8,5 crédits par seconde

Planifier une tâche OmniHuman sur Nereo

OmniHuman 2.0 coûte 5 crédits par seconde de vidéo sur Nereo. Le sélecteur de modèle et l'estimation des crédits dans l'outil affichent le coût exact avant la génération.

Facturé à la seconde de sortie

OmniHuman 2.0 coûte 5 crédits par seconde de vidéo et OmniHuman 1.5 en coûte 8,5, donc la durée de votre audio détermine le coût.

Testez d'abord un court extrait

Lancez 10 à 15 secondes avant une longue prise pour vérifier le synchronisme labial, les mains et la stabilité de l'arrière-plan.

Coupez les silences

Supprimez les secondes silencieuses au début et à la fin de la piste ; elles deviennent aussi de la vidéo facturée.

Choisissez le bon modèle

Utilisez OmniHuman 2.0 pour les prises longues et les performances expressives, et passez à OmniHuman 1.5 pour des clips courts en 1080p net.

Simplifiez la photo

Un seul visage et un arrière-plan uni réduisent la dérive et les autres visages qui bougent tout seuls.

Vérifiez les droits et le consentement

N'animez que des images et des voix que vous possédez ou pour lesquelles vous avez la permission, et respectez les règles de divulgation de l'IA des plateformes.

OmniHuman 2.0 : forces et considérations pratiques

Avantages

  • Longues prises uniques — Jusqu'à 5 minutes sans jointures, ce qui convient aux leçons, chansons complètes et longues explications.
  • Performance expressive et sensible à l'audio — Les gestes et l'expression suivent le ton et le sens de l'enregistrement, pas seulement ses sons.
  • Prix par seconde réduit — BytePlus propose la 2.0 à 0,07 $ par seconde, environ 40 % de moins que la 1.5.

Inconvénients

  • Sortie 720p — La 2.0 est documentée comme native 720p, donc une utilisation sur grand écran peut nécessiter une mise à l'échelle.
  • Aucun benchmark publié pour l'instant — BytePlus partage des démonstrations et des spécifications mais aucune comparaison quantitative, et les arrière-plans chargés peuvent encore dériver.

FAQ OmniHuman 2.0

Find answers to common questions about our AI video generation service.








Donnez une voix à votre photo