Jev vs LLM-as-a-Judge：决策模型与生成式裁判的深度实测
在 AI Agent 评估领域，"LLM-as-a-Judge"（用 LLM 充当裁判）已成为事实标准。然而，TypeSafe 最新推出的 Jev 决策模型提出了一种截然不同的范式。OpenRouter 团队于 2026 年 9 月 21 日发布了深度对比报告，揭示了两种方法在准确性、校准度、成本及延迟上的本质差异。
核心差异：生成的数字 vs 测量的概率
两种方法的根本区别在于输出的性质：
- LLM-as-a-Judge：是一个生成式模型。它接收提示词和输出，然后“写”出一个 verdict。即使是置信度（confidence），也是模型生成的文本被解析为数字。这个数字是主观的，而非客观测量。
- Jev (Decision Model)：是一个决策模型。它不回答“写什么”，而是回答“是什么”。它接收固定的问题和选项，返回每个选项的概率分布。例如，对于“是否可信”的问题，它返回
0.01的概率，这意味着在大量类似案例中，只有 1% 会被判定为可信。这个概率是可验证的，可作为设定阈值或路由规则的依据。
实测数据与关键指标
团队使用 OpenRouter 平台，在 2026-09-21 运行了基于 HaluEval（封闭标准）和 SummEval（开放标准）的测试，总成本仅为 $0.041。
1. 封闭标准（Closed Rubric）：Jev 完胜
在 HaluEval 测试中（基于 QA 数据集，答案需严格基于给定知识片段），Jev 与 LLM 裁判在准确率上持平，但效率优势巨大：
- 校准度 (Calibration)：Jev 的概率校准度更高，意味着其输出的概率值更真实地反映了错误率。
- 成本 (Cost)：Jev 的成本仅为 LLM 裁判的 1/5。
- 延迟 (Latency)：Jev 的响应速度是 LLM 裁判的 10 倍 快。
2. 开放标准（Open Rubric）：LLM 裁判优势
在 SummEval 测试中（基于长新闻文章，评估摘要的一致性和连贯性），由于需要阅读大量上下文并理解专家评分的细微差别，LLM 裁判的表现更接近人类专家评分，而 Jev 在此类长文本开放标准上稍逊一筹。
选型指南：何时使用 Jev？
根据测试结论，团队提出了明确的选型建议：
- 使用 Jev：
- 当标准是封闭的（Closed），且证据（如来源、参考答案）已包含在请求中。
- 需要快速、低成本的阈值判断或路由规则。
- 需要极高的概率校准度以进行自动化决策。
- 使用 LLM 裁判：
- 当标准是开放的（Open），涉及长文本一致性检查。
- 需要解释为什么答案失败（需要自然语言推理）。
- 使用代码：
- 如果代码能精确检查标准（如格式验证、逻辑判断），则无需调用 AI。
结语
Jev 并非要取代 LLM-as-a-Judge，而是为特定场景提供了更高效的替代方案。对于追求低延迟、低成本且依赖概率校准的自动化 Agent 工作流，Jev 是一个极具价值的工具。
"当标准是封闭的且证据在手时，Jev 在保持同等准确性的同时，将成本降低了 5 倍，延迟降低了 10 倍。" —— OpenRouter 技术团队
