OmniHuman 2.0:一张照片加一段音频,生成 5 分钟表演视频
OmniHuman 2.0 是 ByteDance 推出的音频驱动数字人视频模型。只需提供一张图片和一段语音或歌曲音轨,它就能生成完整的表演,嘴唇、表情、手势和肢体动作都会跟随音频的语调与含义变化,单次生成最长可达 5 分钟。观看官方示例,然后在 Nereo 上以每秒 5 积分的价格使用 OmniHuman 2.0。
照片说话
OmniHuman 2.0 功能与官方示例
用文本提示词导演场景
除了音频,简短的提示词还可以要求特定动作、镜头运动或照片中没有的道具。这就是说话头像与舞台场景的区别。
BytePlus 官方提示词控制示例:角色的动作和镜头运动跟随文本提示词,而声音驱动表演。
单张图片生成歌手
将歌曲交给 OmniHuman 2.0,面部会承载歌词、长音和呼吸,动作跟随节奏。请保持人声在混音中清晰响亮。
BytePlus 官方示例:从一张图片和一首歌曲生成有节奏的演唱表演。
由台词驱动的电影级情感
模型会读取音频的上下文,而不仅仅是声音,因此紧张、愤怒或释然会像演员念台词一样体现在手势和表情中。
BytePlus 官方示例:由对话驱动的富有情感的电影级表演。
动物和风格化角色
OmniHuman 2.0 不仅限于真人。吉祥物、3D 角色和动物只要眼睛和嘴巴绘制清晰,也能说话或唱歌。
BytePlus 官方示例:用音频赋予动物角色生命。
音频理解
表情随表达方式变化:同一张脸在轻柔演唱、高歌或微笑着说话时看起来各不相同。
BytePlus 官方示例:表演跟随音频的情感。
与场景互动的角色
提示词可以描述角色如何在环境中移动,使镜头更像一个场景,而不是一张嘴在动的肖像。
BytePlus 官方示例:提示词中描述的环境互动。
如何使用 OmniHuman 2.0
照片和音频决定了大部分结果。简短的提示词是可选的。
选择一张清晰的图片
使用不超过 20 MB 的 JPG、PNG 或 WebP 图片,画面中有一张正对镜头的脸,背景为纯色或柔和虚化,嘴部保持放松。按照你想要的视频构图进行取景,并根据播放平台选择竖屏或横屏。
准备音频
上传不超过 15 MB、时长在 4 到 299 秒之间的 MP3 或 WAV 语音、歌曲或对白音轨。保持人声清晰并修剪静音部分;每一秒音频都会对应一秒视频。
添加简短指导并生成
可选地用一两句话描述情绪、手势或镜头运动。先测试短片段,再运行完整轨道。
创作者如何使用 OmniHuman 2.0
每个用例都从一张图片和一段录音开始。
课程和教学
一次生成完整课程,讲师在第四分钟和第一分钟看起来一样,无需剪辑拼接。
代言人和 UGC 广告
将主持人照片变成产品讲解和证言式广告,然后通过更换配音制作新版本。
音乐表演
将歌曲交给肖像或角色,获得跟随长音、呼吸和节奏的表演。
吉祥物和角色
让品牌吉祥物、3D 角色或动物为广告、儿童内容和频道介绍念台词。
采访和对话
用一条对话轨道编排双人对话和短剧,然后检查每句台词是否落在正确的脸上。
本地化信息
将同一张代言人图片与翻译后的语音轨道配对,用多种语言传递同一信息。
OmniHuman 2.0 与 OmniHuman 1.5 对比
| Feature | OmniHuman 2.0 | OmniHuman 1.5 |
|---|---|---|
| 输入 | 1 张图片 + 音频 + 可选提示词 | 1 张图片 + 音频 + 可选提示词 |
| 最大音频/视频长度 | 4–300 秒 | 不到 60 秒 |
| 输出分辨率 | 原生 720p | 720p 或 1080p |
| 音频格式 | WAV、MP3(小于 15 MB) | Nereo 上支持 MP3、WAV、M4A |
| 多人场景 | 核心功能 | 通过额外 API 步骤实现 |
| BytePlus API 价格 | 每秒 $0.07 | 每秒 $0.12 |
| 在 Nereo 上 | 已上线,每秒 5 积分 | 已上线,每秒 8.5 积分 |
在 Nereo 上规划 OmniHuman 任务
在 Nereo 上,OmniHuman 2.0 每生成一秒视频消耗 5 积分。工具中的模型选择器和积分估算会在生成前显示确切费用。
按输出秒数计费
OmniHuman 2.0 每秒视频消耗 5 积分,OmniHuman 1.5 为 8.5 积分,因此音频长度决定了费用。
先测试短片段
在长片段之前先运行 10 到 15 秒,检查口型时机、手部和背景稳定性。
修剪静音
剪掉轨道开头和结尾的安静秒数;它们也会变成计费视频。
选择正确的模型
使用 OmniHuman 2.0 制作长镜头和富有表现力的表演,切换到 OmniHuman 1.5 制作清晰的 1080p 短片。
简化照片
一张脸和简洁背景可减少漂移和其他面部自行移动。
检查权利和同意
仅为你拥有或有权使用的图像和声音制作动画,并遵守平台 AI 披露规则。
OmniHuman 2.0:优势与实际考量
优点
- 长单次生成 — 最长 5 分钟无拼接,适合课程、完整歌曲和长讲解。
- 富有表现力、理解音频的表演 — 手势和表情跟随录音的语调和含义,而不仅仅是声音。
- 每秒价格更低 — BytePlus 列出 2.0 为每秒 $0.07,比 1.5 低约 40%。
缺点
- 720p 输出 — 2.0 文档标明为原生 720p,因此大屏幕使用可能需要放大。
- 尚无公开基准 — BytePlus 分享了展示和规格,但没有定量比较,繁忙背景仍可能漂移。
OmniHuman 2.0 常见问题
Find answers to common questions about our AI video generation service.
OmniHuman 2.0 是 ByteDance 的音频驱动数字人视频模型,于 2026 年 10 月 15 日通过 BytePlus 发布。它可以将一张图片、一段音频以及可选的文本提示词,转化为该角色表演音频的视频。
最大的变化是时长和成本:音频最长可达 300 秒,而非不到 60 秒;BytePlus 上的价格从每秒 $0.12 降至 $0.07。2.0 还将多人场景和对话列为核心功能。1.5 可输出 1080p,而 2.0 输出原生 720p。
音频长度可为 4 到 300 秒,视频与音频长度匹配,因此单次生成最长可达 5 分钟。
音频为 WAV 或 MP3,小于 15 MB。图片为 JPEG、PNG、WebP、BMP、TIFF、GIF、HEIC 或 HEIF,小于 30 MB,每边 300 到 6,000 像素,宽高比在 0.4 到 2.5 之间。
可以。它既接受语音也接受音乐,并跟随歌词、长音和节奏。为了获得最佳口型动作,请保持人声在混音中清晰突出。
可以。BytePlus 在示例中展示了动物角色和 3D 风格角色。结果取决于眼睛和嘴巴的绘制清晰度,因此请先测试短片段。
可选的文本提示词支持中文、英语、日语、韩语、墨西哥西班牙语和印尼语。口语音频本身驱动表演。
是的。OmniHuman 2.0 已在 Nereo 的 AI 照片说话生成器中上线,本页按钮即可打开该工具,并且默认选中,价格为每秒输出 5 积分。如果你想对比,OmniHuman 1.5、Kling AI Avatar 和 MiniMax H3 Max Lip Sync 也在同一个模型菜单中。
