ElevenLabs 携手 NVIDIA ACE 发布多语言 AI 语音技术,重塑游戏 NPC 与演讲体验
在 Computex 2024 大会上,ElevenLabs 与人工智能基础设施巨头 NVIDIA 宣布了一项具有里程碑意义的战略合作。双方旨在利用 NVIDIA ACE(Accelerated Computing for Emotion)技术栈,结合 ElevenLabs 的专有 AI 语音与语音克隆技术,彻底改变多语言内容创作与数字交互的范式。
突破性的多语言语音合成
本次合作最引人注目的成果是实现了多语言演讲的实时语音克隆。传统的关键note演讲通常依赖人工翻译或字幕来支持多语言受众,而新的解决方案能够保留演讲者的原始声音特质,实现真正的同声传译体验。
在演示环节,NVIDIA 创始人兼 CEO Jensen Huang 亲自示范了这一技术。他利用 ElevenLabs 平台,仅用7 分钟的录音素材,便在1 小时内成功生成了他在英文和中文两种语言下的演讲 AI 声音。这种技术不仅极大地降低了多语言内容制作的时间成本,更让内容能够以极具情感色彩的母语形式触达全球受众。
游戏 NPC 交互的革命
除了演讲领域,该合作还聚焦于游戏行业的非玩家角色(NPC)。传统的 NPC 交互往往局限于简短且预设的脚本,缺乏生命力。借助 NVIDIA ACE 的ACE NIM 微服务,开发者现在可以创建具有高度拟人化特征的动态 NPC。
这些 AI 驱动的 NPC 能够根据玩家的行为实时反应并适应,提供前所未有的沉浸式体验。在 Covert Protocol 技术演示中,ElevenLabs 的语音 AI 被用于驱动这些互动,其声音在语调、音高上的细腻变化获得了现场记者与行业人士的高度评价,被认为是增强玩家沉浸感的关键。
技术架构与生态价值
NVIDIA ACE 是一套旨在让数字人类“活”起来的生成式 AI 技术套件。其核心在于ACE NIM 微服务,这些模块化组件构成了数字人类、AI NPC 和互动虚拟形象的基础。开发者可以直接将这些微服务集成到自己的产品、工具、服务或游戏中,无需从零开始构建底层语音引擎。
ElevenLabs CEO Mati Staniszewski 表示:"NVIDIA 为生成式 AI 革命构建了加速计算基础设施,而我们致力于以可扩展、充满情感且个性化的方式,在任何语言中生成逼真的内容。"
这一合作标志着 AI 语音技术从单纯的文本转语音(TTS)向情感化、多语言、实时交互的下一代应用跨越,为内容创作者和游戏开发者打开了全新的可能性大门。