TypeSafe 发布 Jev:首个面向开发者的决策模型
在 AI 应用开发中,如何平衡生成内容的灵活性与决策的准确性,一直是核心挑战。TypeSafe 与 OpenRouter 合作,推出了 Jev,这是一款专为开发者设计的“决策模型”(Decision Model),也被 TypeSafe 称为 System One 模型。它旨在解决传统大语言模型(LLM)在需要确定性决策场景下的痛点。
什么是 Jev?
Jev 的核心逻辑非常清晰:它接收一段文本(State)和一个预定义的 typed question,然后返回一个已定义选项中的确切选择,并附带该选项的概率以及所有其他选项的概率分布。
这种设计灵感源自丹尼尔·卡尼曼在《思考,快与慢》中提出的“系统一”(System One)概念——即快速、基于模式匹配的直觉思维。与需要人类进行复杂推理的“系统二”(System Two)不同,Jev 专注于在预定义的空间内进行高置信度的分类。
Jev 与 LLM 的核心差异
Jev 并非要取代 LLM,而是与其形成互补。两者的核心区别在于输出端:
| 特性 | 生成式 LLM | Jev (System One) |
|---|---|---|
| 输出内容 | 自由文本、代码、JSON 等 | 预定义选项 + 概率分布 |
| 确定性 | 需依赖结构化输出,仍可能幻觉 | 绝对确定,必为预设选项之一 |
| 不确定性 | 隐藏于文本中,难以量化 | 显式返回概率数值,可设定阈值 |
| 适用场景 | 生成回复、摘要、代码补丁 | 工单路由、分类、验证决策 |
例如,在处理工单时,若问题是“该工单应路由至计费、技术还是账户团队?”,LLM 可能会生成一段描述性的文本,而 Jev 则直接返回 { choice: "billing", probabilities: { billing: 1.0, ... } }。这种确定性使得开发者无需编写复杂的正则表达式或后处理逻辑来验证答案的有效性。
Jev 的三大原语
Jev 通过三种原语(Primitives)来处理不同类型的决策任务:
- Choice(选择):从固定的选项集中选择一个。这是最常见的场景,如工单分类。Jev 会返回选中的选项、该选项的概率以及整体置信度(Confidence)。
- Score(评分):对按顺序排列的等级进行评分。适用于对服务质量、紧急程度等连续或半连续变量进行打分。
- Noul(布尔/数值):处理简单的真/假判断或数值比较。
概率校准与置信度
TypeSafe 对 Jev 进行了特殊的概率校准。当 Jev 返回 0.8 的概率时,这意味着在大量样本的平均情况下,该模型有 80% 的把握做出正确判断。这种校准让开发者能够像对待天气预报一样对待 AI 的预测结果,从而在代码中轻松设定阈值(Thresholding)来过滤低置信度的回答。
实际调用示例
开发者可以通过 OpenRouter 的 Decisions API 轻松调用 Jev。以下是一个典型的 curl 请求示例,用于根据工单内容判断路由团队:
curl https://openrouter.ai/api/alpha/decisions \
-H "Authorization: Bearer $OPENROUTER_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "typesafe/jev-1.13",
"state": "My invoice for September shows two charges for the Pro plan. I only have one workspace.",
"questions": {
"team": {
"type": "choice",
"instructions": "Which team should handle this ticket?",
"criteria": {
"billing": "Charges, invoices, and refunds",
"technical": "Bugs, outages, and broken features",
"account": "Login, password, and profile changes"
}
}
}
}'
返回结果将直接给出 billing 作为最佳选择,并附带极高的置信度,无需任何额外的文本解析工作。
总结
Jev 的出现填补了生成式 AI 在“确定性决策”领域的空白。对于需要高可靠性、低延迟且输出格式严格的应用场景(如客服路由、数据分类、合规检查),Jev 提供了一种比传统 LLM 更优雅、更高效的解决方案。未来,LLM 与 Jev 的协同工作模式将成为构建 robust AI 应用的标准架构。
注:本文基于 TypeSafe 在 OpenRouter 官方博客发布的关于 Jev 决策模型的技术解读。