OmniHuman 2.0:一张照片加一段音频,生成 5 分钟表演视频

OmniHuman 2.0 是 ByteDance 推出的音频驱动数字人视频模型。只需提供一张图片和一段语音或歌曲音轨,它就能生成完整的表演,嘴唇、表情、手势和肢体动作都会跟随音频的语调与含义变化,单次生成最长可达 5 分钟。观看官方示例,然后在 Nereo 上以每秒 5 积分的价格使用 OmniHuman 2.0。

照片说话

描述表演方式
OmniHuman 2.0OmniHuman 2.0
0/5000

OmniHuman 2.0 功能与官方示例

用文本提示词导演场景

除了音频,简短的提示词还可以要求特定动作、镜头运动或照片中没有的道具。这就是说话头像与舞台场景的区别。

官方示例

BytePlus 官方提示词控制示例:角色的动作和镜头运动跟随文本提示词,而声音驱动表演。

OmniHuman 2.0

单张图片生成歌手

将歌曲交给 OmniHuman 2.0,面部会承载歌词、长音和呼吸,动作跟随节奏。请保持人声在混音中清晰响亮。

官方示例

BytePlus 官方示例:从一张图片和一首歌曲生成有节奏的演唱表演。

OmniHuman 2.0

由台词驱动的电影级情感

模型会读取音频的上下文,而不仅仅是声音,因此紧张、愤怒或释然会像演员念台词一样体现在手势和表情中。

官方示例

BytePlus 官方示例:由对话驱动的富有情感的电影级表演。

OmniHuman 2.0

动物和风格化角色

OmniHuman 2.0 不仅限于真人。吉祥物、3D 角色和动物只要眼睛和嘴巴绘制清晰,也能说话或唱歌。

官方示例

BytePlus 官方示例:用音频赋予动物角色生命。

OmniHuman 2.0

音频理解

表情随表达方式变化:同一张脸在轻柔演唱、高歌或微笑着说话时看起来各不相同。

官方示例

BytePlus 官方示例:表演跟随音频的情感。

OmniHuman 2.0

与场景互动的角色

提示词可以描述角色如何在环境中移动,使镜头更像一个场景,而不是一张嘴在动的肖像。

官方示例

BytePlus 官方示例:提示词中描述的环境互动。

OmniHuman 2.0

如何使用 OmniHuman 2.0

照片和音频决定了大部分结果。简短的提示词是可选的。

1

选择一张清晰的图片

使用不超过 20 MB 的 JPG、PNG 或 WebP 图片,画面中有一张正对镜头的脸,背景为纯色或柔和虚化,嘴部保持放松。按照你想要的视频构图进行取景,并根据播放平台选择竖屏或横屏。

2

准备音频

上传不超过 15 MB、时长在 4 到 299 秒之间的 MP3 或 WAV 语音、歌曲或对白音轨。保持人声清晰并修剪静音部分;每一秒音频都会对应一秒视频。

3

添加简短指导并生成

可选地用一两句话描述情绪、手势或镜头运动。先测试短片段,再运行完整轨道。

创作者如何使用 OmniHuman 2.0

每个用例都从一张图片和一段录音开始。

课程和教学

一次生成完整课程,讲师在第四分钟和第一分钟看起来一样,无需剪辑拼接。

代言人和 UGC 广告

将主持人照片变成产品讲解和证言式广告,然后通过更换配音制作新版本。

音乐表演

将歌曲交给肖像或角色,获得跟随长音、呼吸和节奏的表演。

吉祥物和角色

让品牌吉祥物、3D 角色或动物为广告、儿童内容和频道介绍念台词。

采访和对话

用一条对话轨道编排双人对话和短剧,然后检查每句台词是否落在正确的脸上。

本地化信息

将同一张代言人图片与翻译后的语音轨道配对,用多种语言传递同一信息。

OmniHuman 2.0 与 OmniHuman 1.5 对比

FeatureOmniHuman 2.0OmniHuman 1.5
输入1 张图片 + 音频 + 可选提示词1 张图片 + 音频 + 可选提示词
最大音频/视频长度4–300 秒不到 60 秒
输出分辨率原生 720p720p 或 1080p
音频格式WAV、MP3(小于 15 MB)Nereo 上支持 MP3、WAV、M4A
多人场景核心功能通过额外 API 步骤实现
BytePlus API 价格每秒 $0.07每秒 $0.12
在 Nereo 上已上线,每秒 5 积分已上线,每秒 8.5 积分

在 Nereo 上规划 OmniHuman 任务

在 Nereo 上,OmniHuman 2.0 每生成一秒视频消耗 5 积分。工具中的模型选择器和积分估算会在生成前显示确切费用。

按输出秒数计费

OmniHuman 2.0 每秒视频消耗 5 积分,OmniHuman 1.5 为 8.5 积分,因此音频长度决定了费用。

先测试短片段

在长片段之前先运行 10 到 15 秒,检查口型时机、手部和背景稳定性。

修剪静音

剪掉轨道开头和结尾的安静秒数;它们也会变成计费视频。

选择正确的模型

使用 OmniHuman 2.0 制作长镜头和富有表现力的表演,切换到 OmniHuman 1.5 制作清晰的 1080p 短片。

简化照片

一张脸和简洁背景可减少漂移和其他面部自行移动。

检查权利和同意

仅为你拥有或有权使用的图像和声音制作动画,并遵守平台 AI 披露规则。

OmniHuman 2.0:优势与实际考量

优点

  • 长单次生成 — 最长 5 分钟无拼接,适合课程、完整歌曲和长讲解。
  • 富有表现力、理解音频的表演 — 手势和表情跟随录音的语调和含义,而不仅仅是声音。
  • 每秒价格更低 — BytePlus 列出 2.0 为每秒 $0.07,比 1.5 低约 40%。

缺点

  • 720p 输出 — 2.0 文档标明为原生 720p,因此大屏幕使用可能需要放大。
  • 尚无公开基准 — BytePlus 分享了展示和规格,但没有定量比较,繁忙背景仍可能漂移。

OmniHuman 2.0 常见问题

Find answers to common questions about our AI video generation service.








让你的照片开口说话