Krea Realtime 14B:重塑实时视频生成的未来
Krea AI 于 2025 年 10 月 20 日发布了Krea Realtime 14B,这是一个具有里程碑意义的技术突破。作为业界首个公开可用的自回归(Autoregressive)实时视频生成模型,它标志着 AI 视频创作从“静态生成”向“实时交互”时代的跨越。
核心突破:从 1.3B 到 14B 的跨越
现有的开源实时视频模型(如 Wan 2.1 1.3B)受限于参数规模,难以处理复杂的运动细节和高频纹理,且在文本到视频(Text-to-Video)任务中表现不佳。
Krea Realtime 14B 通过以下关键技术创新解决了这些瓶颈:
- 架构重构:基于 Wan 2.1 14B 文本到视频模型,利用Self-Forcing技术将其转化为自回归架构。这使得模型能够逐帧生成,而非传统的并行去噪。
- 性能指标:在单张 NVIDIA B200 GPU 上,仅需 4 个推理步(inference steps)即可达到11fps的推理速度,实现了真正的实时流式输出。
- 规模优势:参数量是现有实时模型的10 倍以上,显著提升了复杂场景的建模能力。
技术难点攻克:消除“暴露偏差”
将双向注意力(Bidirectional Attention)模型转换为自回归模型面临的最大挑战是暴露偏差(Exposure Bias)。
- 训练阶段:模型利用真实数据中的干净帧或带噪帧作为上下文(Teacher Forcing / Diffusion Forcing)。
- 推理阶段:模型必须基于自身生成的、可能存在误差的上一帧来预测下一帧。
Krea 团队引入了两项新颖的缓解技术:
- KV Cache Recomputation:动态重新计算关键值缓存,以平衡计算效率与生成质量。
- KV Cache Attention Bias:通过调整注意力机制的偏差,减少累积误差对后续生成的影响。
此外,团队还开发了针对自回归视频扩散模型的专用内存优化技术,使得训练大规模自回归模型成为可能。
实际应用价值:交互式创作新范式
Krea Realtime 14B 的发布为开发者与创作者带来了全新的工作流:
- 实时流式生成:用户输入文本后,视频帧会立即开始流式返回,延迟低至1 秒即可看到首帧。
- 动态提示词修改:在视频生成过程中,用户可以随时修改 Prompt,模型会即时响应并调整后续画面,实现“边看边改”。
- 实时重绘与编辑:生成的视频流支持实时重绘(Restyling)和编辑,极大地缩短了创意迭代的周期。
“实时交互对于 AI 驱动的创作工具至关重要,它让工具变得可引导且响应迅速。Krea Realtime 14B 旨在探索这项技术所能开启的创意界面。” —— Krea AI 团队
这一模型不仅解决了技术上的长尾问题,更为未来的 AI 视频编辑器、游戏过场动画生成及动态内容创作提供了强大的底层引擎支持。