Wordvice AI 率检测工具 2.0 发布:HNM 技术突破与句子级边界分析
距离 Wordvice AI 率检测工具 1.0 发布已过去 9 个月,在人工智能技术飞速迭代与人机协同写作模式持续演变的背景下,Wordvice 完成了大规模模型重构。本次更新的核心目标并非单纯扩大检测范围,而是重点提升在真实使用场景下对 AI 改写文本及模糊边界案例的稳定检测能力,并强化句子级检测详情展示。
核心技术突破:困难负样本挖掘(HNM)
Detector 2.0 的训练策略发生了根本性变化。仅靠扩充数据量无法解决误判问题,Wordvice 采用了困难负样本挖掘(Hard Negative Mining, HNM)技术。
该流程分为两个阶段:
- 筛选:在人类撰写文本中筛选出模型判定为 AI 生成的案例,在 AI 生成文本中筛选出模型判定为 AI 生成概率较低的案例。
- 加权训练:无论分类正确与否,重点聚焦模型在区分人类与 AI 写作边界时难以判别的案例,并提升其训练权重。
这一策略让模型不再只学习容易区分的样本,而是重点攻克实际检测中判定难度较高的文本。
关键性能指标提升
内部评估数据显示,Detector 2.0 在领域内测试集上的表现优异:
- 整体 F1 值:0.9773(AUROC 达 0.9979)
- AI 改写专项 F1 值:0.9819(初期模型约为 0.955)
- AI 改写召回率:0.9917(初期模型约为 0.933)
特别是在 AI 改写场景下,召回率的大幅提升意味着该测试集中 AI 改写文本被误判为人类撰写的情况大幅减少。
新增句子级边界检测器
为了解决用户难以理解整篇文档整体结果的问题,Detector 2.0 引入了边界检测器(Boundary Detector)。
这是一个 Token 级模型,能对文本中每个 Token 进行分类,并将得分汇总到词、句子层级。用户不仅可以查看整篇文档的检测结果,还能直观查看文档内部 AI 生成模式较为突出的区间。
注意:句子得分(如 0.82)代表的是该片段与 AI 生成模式的相似度相对强度,并不代表该句子有 82% 的概率由 AI 撰写。其核心作用是帮助用户定位需要重点复查的片段。
场景化应用与局限性
Detector 2.0 在英语学术论文润色、留学申请文书润色及商务商业英语润色等场景中表现尤为稳定。在训练分布相似的学术文本中,边界检测器的 MAE 低至 2.72,token 级 F1 高达 0.987。
然而,系统也明确了局限性:在未覆盖的外部领域或语言中,误差会上升。因此,当输入信息不足或针对非英语文本时,系统会提供专门提示,引导用户谨慎解读结果,避免过度信任。
此外,Wordvice 还调整了使用额度政策,将付费用户的月度使用额度提升至 100 万字,以支持用户在写作过程中持续排查和修正 AI 生成特有的表达痕迹(AI Slop)。