Jev 1.13 实测：在分类任务中以 1/22 成本实现媲美前沿模型的 81% 准确率
在追求极致效率的 AI 应用开发中，如何在保持高准确率的同时大幅降低推理成本与延迟，一直是开发者面临的挑战。OpenRouter 近日发布了一项深度基准测试，将 TypeSafe 推出的新型决策模型 Jev 1.13 与目前最顶级的对话模型 Claude Opus 5 进行了直接对决。
本次测试聚焦于 Banking77 数据集，该数据集包含 3,080 条银行客服对话片段，需将其归类为 77 种不同的金融意图（如“收到款项”、“卡片被盗”等）。测试采用严格的单行标准描述作为分类依据，确保评估的公平性与可复现性。
核心发现：速度与成本的极致平衡
测试数据揭示了两者截然不同的性能曲线：
- 准确率 (Accuracy)：Claude Opus 5 以 84.4% 领先 Jev 1.13 的 81.0%。虽然差距约为 3.4 个百分点，但两者在 89.3% 的样本上达成了高度一致。值得注意的是，Jev 在特定场景（如
compromised_card）下甚至达到了 95.0% 的准确率，远超 Opus 的 70.0%。 - 响应速度 (Latency)：Jev 展现了惊人的效率。其中位数延迟仅为 175ms，而 Opus 高达 2,266ms。Jev 的 P95 延迟（270ms）甚至快于 Opus 的中位数响应时间。
- 成本效益 (Cost)：这是本次测试最显著的亮点。Jev 的总成本仅为 $0.34，而 Opus 为 $7.44。Jev 的成本仅为 Opus 的 1/22，每千次请求成本低至 $0.11，而 Opus 为 $2.42（已包含 Prompt 缓存优惠）。
技术架构差异与路由策略
测试不仅对比了单一模型，还深入探讨了如何利用 Jev 的 Confidence Score 构建智能路由系统。
Jev 作为 TypeSafe 的 System One 决策模型，其设计初衷便是替代大型对话模型处理结构化分类任务。通过 Decisions API，Jev 能直接返回类型化的答案、置信度分数及各选项的概率分布，而非生成式文本。
基于此，开发者可以实施 分级路由 (Cascade Routing) 策略：
- 高置信度分流：当 Jev 的置信度超过 0.90 时（覆盖 76% 的流量），直接采用 Jev 的结果，既保证了 83.2% 的准确率，又将成本控制在极低水平。
- 兜底机制：对于低置信度样本，自动路由至 Claude Opus 5 进行二次确认，确保整体准确率维持在 84% 以上。
这种策略允许开发者在 80% 的置信度阈值下，以 82.7% 的准确率处理 75.9% 的流量，从而在成本与体验之间找到最佳平衡点。
结论与启示
尽管 Jev 在绝对准确率上略逊于顶尖对话模型，但其 13 倍的速度提升 和 22 倍的成本降低 使其成为处理高并发、低延迟分类任务的理想选择。对于依赖意图识别的应用（如客服机器人、风控系统），利用小模型处理长尾或高置信度场景，仅用大模型处理边缘案例，是极具性价比的架构方案。
“在分类任务中，用一个小决策模型替换前沿对话模型，可以在保持可接受准确率的同时，实现成本与延迟的显著削减。” —— TypeSafe 团队愿景
关键指标 (Metrics)
| 指标 | Jev 1.13 | Claude Opus 5 | 对比优势 |
|---|---|---|---|
| 准确率 (Accuracy) | 81.0% | 84.4% | Opus 领先 3.4 个百分点 |
| 中位延迟 (Latency p50) | 175 ms | 2,266 ms | Jev 快 13 倍 |
| P95 延迟 | 270 ms | 3,004 ms | Jev 显著更优 |
| 每千次请求成本 | $0.11 | $2.42 | Jev 成本低 22 倍 |
| 高置信度准确率 (≥0.90) | 82.7% | - | 支持分级路由 |
核心亮点 (Key Highlights)
- 极致性价比：Jev 在分类任务中将成本降低至 Opus 的 1/22，同时保持亚秒级响应。
- 精准路由能力：基于置信度分数的分级路由策略，可在 76% 流量上实现 83% 以上的准确率，大幅优化预算。
- 特定场景优势：Jev 在处理高风险场景（如卡片被盗检测）时准确率高达 95%，优于通用大模型。
- 架构简化：通过 Decisions API 直接输出结构化结果，减少了 Prompt 工程与后处理开销。
