深度解析：如何评估 Sourcegraph 在你私有代码库中的实际价值
在 AI 开发领域，一个普遍存在的误区是认为“更好的代码检索”自动意味着“更好的任务完成”。Sourcegraph 团队在其最新技术文章中，通过严谨的实验数据打破了这一迷思，并建立了一套基于定位难度（Localization Difficulty）的评估方法论。
核心发现：检索质量与任务完成并非线性相关
Sourcegraph 团队在 288 个配对任务中进行了对比测试，确保两方 Agent 能访问相同的代码版本。结果显示：
- 检索指标显著提升：引入 Sourcegraph 后，文件级 F1 分数从 0.091 提升至 0.240，召回率从 0.120 提升至 0.272。
- 任务完成率持平：尽管检索能力增强，但整体任务完成奖励（Task-completion reward）基本无变化。
- 成本效益分化：成本节省幅度取决于任务难度。当基准 Agent 进行广泛搜索时，Sourcegraph 可节省 15%-51% 的成本；反之，若基准 Agent 仅需 7 次以内搜索即可定位，引入 Sourcegraph 反而可能增加约 $0.15 的成本。
关键洞察：代码库规模不是唯一指标
文章指出，检索难度不仅取决于代码库大小，更取决于工作负载在代码库中的分布。
- 大单体库未必难：一个 4000 万行的单体库，如果相关代码集中在一个目录，其检索难度等同于小型库。
- 小代码库可能极难：一个 200 万行的项目，如果答案分散在多个服务、涉及生成代码、跨仓库所有权边界或需要追溯 Git 历史，检索难度将急剧上升。
实践指南：构建你自己的评估集
Sourcegraph 提供了一套可复现的评估框架，帮助开发者判断是否值得引入结构化检索：
1. 任务分类与过滤
- 移除简单任务：首先剔除那些 Prompt 直接包含路径、符号或目录的任务（约 38%），以及答案显而易见或仅靠
grep即可解决的任务（约 74%）。 - 关注复杂任务：重点评估那些需要跨服务、跨仓库、追溯历史变更或理解生成代码的行为任务。
2. 基于“搜索负担”的阈值参考
通过分析 113 个配对任务，团队发现成本优势与基准 Agent 的搜索广度呈强负相关（$r = -0.57$）。以下是 Sourcegraph 展现出显著成本优势的参考阈值（非绝对标准，需结合自测数据）：
- 搜索次数：基准 Agent 执行 20 次以上 搜索。
- 文件读取：基准 Agent 读取 15 个以上 文件。
- 交互轮次：基准 Agent 进行 30 轮以上 对话。
- Token 消耗：基准 Agent 消耗 75,000 个以上 的 payload tokens。
3. 历史依赖与跨团队代码
评估集应特别包含两类高难度任务：
- 历史依赖型：需要查询 Git 历史（如
git log -S）才能回答当前树中不存在的问题。 - 跨团队/生成代码：答案存在于代码中，但开发者不知道其位置（常见于 Incident Response 或合规调查）。
总结
Sourcegraph 的这篇指南提醒开发者：不要盲目追求检索指标的优化，而应关注检索对解决“难定位”问题的实际贡献。 通过建立自己的基准测试集，量化 Agent 的搜索负担，才能做出正确的技术选型与成本决策。
“检索质量、任务完成率和成本衡量的是系统不同的部分。仅测量其中一项可能会得出技术上正确但决策错误的结果。” —— Sourcegraph 团队
