ElevenLabs 发布 Dubbing v2:AI 配音实现跨语言情感与表演完美复刻
今天,ElevenLabs 正式推出了其革命性的 Dubbing v2 AI 配音模型。这一更新标志着 AI 语音技术从“文本转语音”向“表演转语音”的跨越,旨在解决长期以来困扰行业的一个核心难题:如何让翻译后的语音听起来像是由原始说话者本人用目标语言说出来的。
核心突破:从文本转录到表演复刻
传统的 AI 配音系统主要依赖文本转录(Transcripts)。虽然能生成准确的翻译,但往往丢失了人类语言中至关重要的细微差别,如情感、停顿、强调、犹豫和能量。Dubbing v2 采用了完全不同的架构思路:
- 基于原始表演的条件生成:模型不再仅处理文本,而是直接以原始音频的表演为条件。它捕捉说话者的音调和语气,并将其无缝迁移到目标语言中。
- 自然的多语言交付:不同语言需要不同的措辞、节奏和句法结构才能自然流畅。Dubbing v2 具备同步感知(Sync-aware)的翻译系统,能够自动对齐起始、停止和节奏,大幅减少人工调整需求,使最终输出更接近专业配音水平。
关键价值与应用场景
1. 为创作者:一键全球分发
对于内容创作者而言,Dubbing v2 使得在 ElevenCreative 中通过“一键”操作即可将视频本地化成为可能。视频内容现在可以在不同语言受众中听起来自然,同时保留原始创作者的个人风格和表达力。这极大地加速了全球分发速度,无需牺牲质量。
2. 为营销团队:规模化本地化
营销团队可以利用 Dubbing v2 在国际市场进行高质量的内容本地化,而无需从头重建活动。广告、产品视频和品牌内容可以在不同语言中保持相同的情感冲击力和交付风格。
3. 为工作室:专业级工作流
对于广播公司和企业制作团队,ElevenProductions 将 Dubbing v2 与专业本地化服务(如人工翻译、专家配音和音频混音)相结合。这种组合提供了一个可扩展的工作流,实现了专业级的多语言制作。
合作伙伴计划与获取方式
随着 Dubbing v2 的发布,ElevenLabs 还推出了 Creator Dubbing Partner Program。符合条件的创作者将获得折扣访问权限,具体申请方式请查看官网。
免费试用政策:
- Free 计划:1 分钟免费使用
- Starter 计划:15 分钟免费使用
- Creator+ 计划:30 分钟免费使用
API 访问功能即将推出,企业用户可通过联系销售团队了解详情。
“我们的目标是让高质量的多语言内容创作变得像发送电子邮件一样简单,同时保留原始表演的神韵。” —— ElevenLabs 官方团队