AssemblyAI 发布 Universal-3.5 Pro Realtime：重新定义智能语音 Agent
在语音交互领域，传统的语音识别（STT）模型往往面临“上下文缺失”的致命缺陷：它们只能孤立地处理每一帧音频，无法理解对话的前因后果。这导致用户在快速切换语言、含糊发音或输入特殊格式（如拼写的邮箱地址）时，系统极易产生幻觉或错误转写。
针对这一痛点，AssemblyAI 于 2026 年 6 月推出了其最新旗舰模型 Universal-3.5 Pro Realtime。这是业界首个将 Agent 的提问意图直接作为输入上下文（Context）的实时流式 STT 模型，彻底改变了语音 Agent 的交互逻辑。
核心突破：从“听音”到“听意”
Universal-3.5 Pro Realtime 的核心创新在于其独特的上下文感知机制。传统模型如同“冷启动”般处理每一句音频，而新模型能够“记住”Agent 刚刚提出的问题，并以此为透镜去解析用户的回答。
- 意图对齐：当 Agent 询问“你的邮箱是什么？”，若用户含糊地拼写为“user at assembly ai dot com”，旧模型会逐字转录，而新模型能结合上下文理解为用户意图，精准识别为
[email protected]。 - 滚动记忆：即使不显式传递上下文，模型默认也会维护一段滚动对话记忆，确保多轮对话的连贯性。
实测数据：性能飞跃
在包含 20,000 条语音 Agent 音频的基准测试中，引入 Agent 上下文后，Word Error Rate (WER) 下降了 10.2%。具体改善集中在 Agent 最易出错的场景：
- 虚构内容减少：-18.3%
- 幻觉现象减少：-17.2%
- 地点实体错误：-15.5%
- 短促语句错误：-13.7%
此外，通过优化提示词（Prompting），针对特定场景（如电竞采访）的描述可将名称实体错误率降低近 50%，且未对延迟产生显著影响。
多语言与智能降噪
除了上下文能力，该模型还强化了语言处理与声学环境适应性：
- 18 种语言全精度：支持包括英语、西班牙语、法语、德语等在内的 18 种语言，并具备代码切换（Code-switching）能力，能准确识别用户在中句切换语言的情况。
- 智能语音聚焦：模型不仅能区分背景噪音，还能区分背景人声。通过
near_field（近场，如耳机）和far_field（远场，如办公室）参数，模型能有效抑制电视声、乘客交谈等背景干扰，专注于主要发言人。
开发者价值与应用场景
Universal-3.5 Pro Realtime 采用与现有 Pipeline 相同的接口，开发者仅需一行代码即可升级。其核心价值在于大幅降低了构建高鲁棒性语音 Agent 的门槛，特别适用于客服机器人、会议记录及复杂指令执行的场景。
“语音 Agent 拥有传统转录模型从未具备的优势：它知道刚刚问了什么。Universal-3.5 Pro Realtime 填补了这一鸿沟，让模型不仅能听见声音，更能听懂意图。” —— AssemblyAI 官方团队
通过结合上下文记忆与智能提示工程，开发者可以将短促语句的错误率从 26% 降至 9%，为下一代智能语音交互奠定了坚实基础。
