Originality.ai 发布 AI 事实核查精度研究：实测 GPT-5 并确立行业新标杆
随着 AI 技术深度渗透至出版、营销及教育领域，由 AI 生成的“幻觉”（Hallucinations）——即错误信息被当作事实呈现——已成为行业痛点。从 2025 年 AI 书单丑闻到虚假信息对公共健康的潜在威胁，建立可靠的信息验证机制显得尤为关键。
在此背景下，Originality.ai 团队于 2026 年 5 月发布了《AI Fact Checking Accuracy Study》，通过严谨的基准测试，量化评估了其 Fact Checker 与当前主流大模型（GPT-4o, GPT-5）在事实核查能力上的真实表现。
核心测试发现：超越 GPT-4o，对标 GPT-5
研究团队构建了涵盖多领域的测试集，对 Originality.ai Fact Checker 进行了压力测试。关键数据如下：
- 召回率（Recall）领先：在所有测试数据集中，Originality.ai 以 83.5% 的召回率位居榜首，有效识别了更多潜在的错误信息。
- 准确率（Accuracy）持平：在准确率方面，Originality.ai 达到 86.69%，与 GPT-5 的 86.67% 几乎持平，并大幅优于 GPT-4o。
- 科学领域优势：在 SciFact 数据集（专注于科学声明）上，Originality.ai 在所有指标上均优于 GPT-4o 和 GPT-5，展现了处理复杂科学事实时的卓越可靠性。
为什么事实核查至关重要？
在信息传播瞬息万变的今天，事实核查（Fact-checking）不仅是内容质量的保障，更是维护社会信任的基石。
- 维护信任：确保新闻机构、学术界与受众之间的信息基础可靠。
- 辅助决策：提供准确、最新的信息，支持个人做出明智判断。
- 遏制谣言：作为过滤器，阻断虚假叙事和误解的扩散。
- 促进问责：让公众人物和内容创作者对其陈述负责。
AI 幻觉现状与主流模型表现
尽管大语言模型（LLM）不断进步，幻觉问题依然显著。根据 PubMed 和斯坦福大学的研究数据，不同模型的幻觉率差异巨大：
| 模型 | 幻觉率 (Hallucination Rate) | 数据来源 | 年份 |
|---|---|---|---|
| GPT-3.5 | 39.6% - 69% | PubMed / Stanford | 2024 |
| GPT-4 | 28.6% | PubMed | 2024 |
| Bard | 91.4% | PubMed | 2024 |
| PaLM 2 | 72% | Stanford | 2024 |
| Llama 2 | 88% | Stanford | 2024 |
注：不同研究因样本大小、测试材料及方法论不同，具体数值会有波动，但核心结论一致：未经过严格核查的 AI 输出存在显著风险。
测试数据集与方法论
为了验证 Fact Checker 的泛化能力，Originality.ai 选用了业界标准的测试集：
- FEVER: 包含 185,445 条基于维基百科句子的声明，是事实核查研究的黄金标准。团队建议在实际应用中采样 1,000 条以平衡效率与成本。
- SciFact: 专注于科学领域的紧凑数据集，用于测试模型在专业领域的可靠性。
本次研究不仅展示了 Originality.ai 的技术实力，也向开发者传递了一个明确信号：在构建依赖信息准确性的 AI 应用时，专用的事实核查工具往往比通用大模型更具确定性和可解释性。
"Our goal was to stress test the fact checker using challenging, real-world claims and measure its ability to deliver robust True/False judgments." —— Originality.ai Team
