Sora 关停背后的警示:60 天无法清除的 CSAM 账号与 AI 内容治理危机
就在昨日,OpenAI 宣布关闭其备受瞩目的视频生成模型 Sora。虽然官方将这一决定归因于公司战略重心向企业级解决方案的转移,但内容审核(Content Moderation)的严峻挑战显然也是不可忽视的因素。
60 天的审核真空期
Copyleaks 的研究团队在 2025 年 10 月 15 日发现了一个令人震惊的案例:Sora 平台上存在一个正在生成疑似儿童性虐待材料(CSAM)的账号。研究人员在算法推荐中遭遇了具有性暗示意味的成人内容,随后点击进入创作者主页,发现了涉及疑似未成年人的性暗示视频。
团队立即向 OpenAI 报告并联系了国家失踪与受剥削儿童中心(NCMEC)。然而,令人痛心的是,该账号在报告中保持活跃状态长达60 天,直到 12 月中旬才被移除。在此期间,Copyleaks 团队还发现了数十个类似的视频,展示着具有剥削性质的内容,其中许多视频甚至使用了真实未成年人的肖像,而非 AI 生成的角色。
技术盲区与治理困境
"从仇恨言论到性剥削视频,Sora 悄无声息地成为了一个内容审核噩梦,"Copyleaks 首席执行官 Alon Yamin 指出。"随着 OpenAI 日益聚焦于企业工具,此次关停并不完全令人意外。然而,随着其消失,有害的深度伪造(Deepfakes)和被操纵媒体将仅仅迁移到更加不透明且难以审计的平台。"
这一事件揭示了当前生成式 AI 生态系统的核心痛点:
- 真实与合成的混淆:攻击者利用真实未成年人的社交媒体画像创建虚假账号,使得传统的基于文本或图像指纹的审核手段失效。
- 自动化推荐的副作用:算法在追求用户留存时,可能将有害内容推送给研究人员或普通用户,导致问题被放大。
- 响应滞后:面对新型攻击手法,平台现有的审核流程(无论是人工还是自动化)存在显著的时间延迟。
独立检测技术的必要性
随着 AI 误用的增长,能够大规模识别 AI 生成图像和视频的独立技术已不再是可选项,而是基础设施。对于致力于在造成不可挽回伤害前阻止被操纵媒体的平台和公司而言,建立完善的 AI 治理机制至关重要。Copyleaks 等独立工具的出现,正是为了填补大型平台在内容安全检测上的能力缺口,确保在 Sora 关闭之前,尽可能多地清除这些有害内容。