CodeRabbit 实测 NVIDIA Nemotron 3.5 Lightning：小模型通过 RLVR 实现代码审查路由精度提升 4% 并降本 50%
在 AI 代码审查工具 CodeRabbit 的核心流程中，"路由决策"（Routing Decision）是处理量最大的环节之一。系统需要快速评估代码变更的复杂度，并决定由何种模型进行后续的审查。为了验证小模型在特定任务上的潜力，CodeRabbit 与 NVIDIA 及 Baseten 合作，对 NVIDIA Nemotron 3.5 Lightning 进行了深度的后训练实验。
实验背景与目标
传统的代码审查路由通常依赖大型 GPT 类模型，虽然准确但推理成本高且资源消耗大。CodeRabbit 的目标是探索是否可以通过后训练（Post-training）技术，让一个更小、更高效的模型学会 CodeRabbit 复杂的审查规则。
本次实验的核心挑战在于：
- 数据构建：利用知识蒸馏技术，从强模型生成高质量的参考路由决策。
- 模型微调：使用 NVIDIA NeMo AutoModel 进行监督微调（SFT）。
- 强化学习：利用 RLVR（Reinforcement Learning with Verifiable Rewards）优化模型在边缘案例上的表现。
核心突破与实验结果
1. 惊人的效率与成本优势
整个实验过程极其高效，仅需不到 3 小时的实验时间，总成本低于 $100。在部署阶段，经过微调的 Nemotron 3.5 Lightning 模型仅需 NVIDIA A100 即可运行，而基线模型通常需要 H100。在相同的 1,000 个任务评估中，微调后的模型将推理成本降低了约 50%（从 $2.34 降至 $1.16），同时减少了 63.4% 的输出 Token 数量。
2. 性能显著提升
在冻结的 1,000 任务评估集上，模型表现如下：
- 精确路由协议（Exact Route Agreement）：从基线模型的 75.8% 提升至 80.7%。
- Cohen's Kappa 系数：从基线的 0.429 提升至 0.544，表明模型输出与参考输出的一致性显著增强。
- 鲁棒性：模型在处理所有请求时未出现空输出或异常短输出，未发生明显的模型坍塌（Collapse）。
技术实现路径
第一阶段：监督微调 (SFT)
利用 NVIDIA NeMo AutoModel 在 Baseten 管理的 H100 训练集群上，对 Nemotron 3.5 Lightning 进行了 LoRA 微调。通过知识蒸馏，使用强模型生成的参考数据进行训练。经过一轮训练，精确路由协议从 75.8% 提升至 80.4%。
第二阶段：基于可验证奖励的强化学习 (RLVR)
在 SFT 的基础上，使用 NVIDIA NeMo RL 库运行 GRPO 算法。这一步专门针对最难处理的边缘案例进行优化，进一步将 Cohen's kappa 值推高至 0.544，并巩固了路由协议的准确性。
结论与展望
本次实验证明了 NVIDIA Nemotron 3.5 Lightning 模型对微调的卓越响应能力。通过结合 NVIDIA 的训练栈与 Baseten 的托管基础设施，CodeRabbit 成功构建了一个既精准又经济高效的代码审查路由系统。这不仅为 CodeRabbit 自身带来了成本优化，也为其他需要处理高并发、特定领域任务的 AI 应用提供了"小模型 + 后训练"的可行范式。
"NVIDIA Nemotron 3.5 Lightning 模型及其训练栈，结合 Baseten 的托管训练和推理基础设施，使得整个实验从端到端变得切实可行。" —— CodeRabbit 官方团队
