필사 모드: 一篇挂着假作者的论文被接收为口头报告 —— AI 时代同行评审的系统性失败分析

• 引言 —— 22 篇里 15 篇有问题，还有两篇拿到了口头报告
• 实际发现了什么 —— 真实论文上挂着不存在的作者
• 哪些已被证实，哪些只是一个人的证词
• 用数字看污染的规模
• 评审流水线为什么过滤不掉这些东西
• 审稿人一侧的 LLM —— ICML 的水印抓住了什么、又漏掉了什么
• 已经被提出的诚信保障机制，以及各自的局限
• 结语 —— 检测已经自动化了，只有决策还没有

引言 —— 22 篇里 15 篇有问题，还有两篇拿到了口头报告

2026 年 7 月 30 日，Caleb Robinson 和 Isaac Corley 发布了一篇文章，题为 Q&A from the slop trenches。两人今年夏天合计审了 22 篇会议投稿，其中 15 篇(68%)存在伪造的引用、挂在真实论文上的虚假作者名单，或明显的 LLM 生成痕迹。这些审稿任务分布在 NeurIPS(Datasets and Benchmarks 赛道、Position Paper 赛道)、WACV，以及 ECCV 的一个研讨会 TerraBytes。分开来看，Caleb 审的 11 篇里有 6 篇有问题，Isaac 审的 11 篇里有 9 篇有问题。

这篇文章后来以《I flagged two research papers for fake authors and both were accepted as orals》为标题登上 Hacker News，拿到了 248 点赞。标题所指的，是 Isaac 回答里的一段话。他发现有两篇投稿引用了他个人认识的研究者的论文，但作者姓名被换成了虚构的人物，于是他建议拒稿，并直接向组委会举报。结果这两篇论文都以"只需修正幻觉参考文献"为条件，被接收为口头报告。

把这件事当成个人不端行为的八卦来读，得不到什么有价值的东西。真正有意思的是系统这一侧 —— 检测成功了，举报渠道也起作用了，可结果依然没有被推翻。本文要追踪的，正是信号究竟在这条链路的哪个环节丢失的。

实际发现了什么 —— 真实论文上挂着不存在的作者

最难抓住的类型，不是整段凭空捏造的参考文献，而是标题、会议、其他合著者全都真实存在，只有一两个作者姓名被换成了听起来很像真人的假名。Caleb 举的例子正是这种形态。某篇 WACV 投稿把 SatMAE 论文的作者写成了"Yuyang Cong, Saurabh Khanna, Chen Meng"，而真实的作者名单开头其实是 Yezhen Cong、Samar Khanna、Chenlin Meng(arXiv:2207.08051)。

# 核验一条参考文献时，实际需要比对的字段
投稿版本里印出来的值:
  Cong, Yuyang; Khanna, Saurabh; Meng, Chen; et al.
  "SatMAE: Pre-training Transformers for Temporal and Multi-Spectral Satellite Imagery"

登记机构(arXiv:2207.08051)的记录:
  Cong, Yezhen; Khanna, Samar; Meng, Chenlin; et al.
  同样的标题、同样的年份、同样的标识符

# 只检查标题或 DOI 是否存在的检测会放行这一条。
# 只有把整个作者名单按字段逐一 diff，才能抓住它。

这个区别之所以重要，是因为自动验证工具的设计要求恰恰在这里分道扬镳。只问"这条引用是否存在"的检查会放行它，只有问"印出来的值是否与登记机构的记录一致"的检查才能抓住它。两位作者共同发布的 bib-audit 把后一种检查自动化了 —— 它把每一条都拿去 Crossref、arXiv、DataCite、Semantic Scholar 核对，逐字段 diff(包括完整的作者名单)，并按顺序优先报告那些根本不存在的引用。对于没有 DOI 或 arXiv ID、只能靠标题比对的条目，它不会下定论，而是返回一条"请人工核实"的建议性警告。

还有一点值得留意，是两人对审稿意见措辞的建议。不要断言动机，只报告观察 —— 写成"arXiv 记录里的第一作者是 Yezhen Cong，而不是 Yuyang Cong"，把判断交给编辑去做。这是一种务实且正确的姿态。审稿人并不处在能够证明造假的位置上，一旦试图去证明，评审就会变成一场争论。

哪些已被证实，哪些只是一个人的证词

这里有必要把话说清楚。上面那篇文章是两位审稿人的第一人称记录，我没能找到会议方的确认。具体来说：

可核实的部分：22 篇的审稿总量、15 篇存在问题这个发现数量，文章里以表格形式公开了。SatMAE 的作者名单不一致，任何人拿 arXiv 记录一比对就能确认。bib-audit 以 MIT 许可证公开在代码仓库里。文章引用的外部研究(后文会讲到)也都各自有原始出处。

未被确认的部分："举报了假作者，结果两篇都被接收为口头报告"这一段，完全出自 Isaac 一个人的陈述。是哪个会议，文章里没写。他的审稿任务是 2 篇 NeurIPS Position、5 篇 TerraBytes、4 篇 WACV，所以很可能是设有口头报告名额的研讨会或者 WACV，但这只是我的推测，不是既定事实。组委会究竟走了什么流程来做决定、举报是否真的送达了伦理负责人、最终拍板的人看到了什么，这些都没有公开。由于论文本身没有被指认出来，也就不存在可以拿来对照的反驳意见。

我做这个区分，并不只是出于谨慎。在系统性分析里，这恰恰正是失败点的候选位置 —— 审稿人的举报究竟有没有真正影响到最终决定，无论是外部人士还是审稿人自己都无从得知，这件事本身就是流水线上的一个可观测性问题。

用数字看污染的规模

要判断一个人的经历是否具有代表性，需要别的观测数据。把原文整理的过去一年的测量结果，按原始出处翻译过来，大致如下。

上表中的出处全部沿着原文引用的路径追溯而来，没有附链接的条目是我没能直接打开原文核实的。引用关系可以在原文的参考文献列表中查到。

Ansari 的分类体系在实务上尤其有用。把这 100 条按类型拆开来看：完全捏造 66%，部分归属污染 27%，标识符劫持 4%，占位符 2%，语义幻觉 1%，而这 100 条全部都是复合型失败。也就是说，"一篇根本不存在的论文"从不单独出现，通常是语义幻觉(63%)或标识符劫持(29%)伴随出现，共同制造出可信的假象。按论文分布来看也呈双峰形态 —— 92% 只有 1~2 处问题，8% 有 4~13 处。把前者读作粗心大意、后者读作整段生成，是很自然的解释。

评审流水线为什么过滤不掉这些东西

三重压力叠加在一起。

第一是投稿量。原文提到 AAAI 2027 收到了 48,000 篇摘要投稿。Ansari 给出的"被接收论文中 1% 存在污染"这个比例，换算成绝对数字，每个会议就是几十篇。在这个规模下，靠人工做桌面拒稿是不可能的，实际上现在是审稿人在替代性地"众包"完成桌面拒稿这项工作。Isaac 的原话就是这个意思 —— 对那些依然抱着善意坚持审稿的人来说，这不是公平的时间分配。

第二是强制互审制度。要求投一篇稿就得审 4~5 篇别人的稿子，这种制度把审稿人供给自动和投稿量挂钩。代价是审稿的动机从"我想读这个领域"变成了"为了让自己的论文被评审而缴的过路费"。看 ICML 2026 的评审 FAQ 可以发现，目标负荷是每位审稿人 5~6 篇，2026 年不允许减负。作为交换，在反驳阶段开始时，超过 99% 的投稿已经获得了至少 3 条评审意见。覆盖率是保住了，但覆盖率和注意力是两回事。

第三是决策阶段的信息损耗。当一位审稿人写下"参考文献是伪造的"，领域主席(area chair)只会把它当成众多维度里的一个来接收。一旦新颖性、实验、清晰度和诚信标记被放在同一个平面上，只要其他分数够高，诚信标记就会被当成一个"可以修好的瑕疵"给吸收掉。"只需修正幻觉参考文献"这种有条件接收，正是从这种结构里长出来的。诚信本该是一道闸门，而不是一个打分维度，但大多数评审表格里根本没有这道闸门。

审稿人一侧的 LLM —— ICML 的水印抓住了什么、又漏掉了什么

被污染的不只是投稿这一侧。Pangram 对 ICLR 2026 评审意见的分析显示，21% 的评审意见完全由 AI 生成；Gartenberg 等人(2026 年)在期刊 Organization Science 上测得，自 ChatGPT 问世以来投稿量增长了 42%，超过 30% 的评审意见带有某种形式的 AI 使用痕迹。

ICML 2026 应对这个问题的方式，在技术层面颇值得一看。它在每一份提交的 PDF 里嵌入了一条人眼看不见、只有 LLM 才能读到的指令，要求模型从一个约 17 万条短语的词典里随机抽取两条短语，插入到评审意见中。这两条短语纯属巧合同时出现的概率低于百亿分之一；每一个被标记出来的案例都经过人工检查，剔除掉"审稿人只是提到了水印存在"这种情况，最终得到的族错误率(family-wise error rate)是 0.0001。在截止日期前的测试中，对大多数模型的检出率超过了 80%。

结果是：506 名审稿人的 795 条评审意见被标记，其中 398 人违反了互审要求，导致 497 篇论文被桌面拒稿。在被检出的违规者中，有 51 人(占 10%)一半以上的评审意见被直接删除。

局限性组委会自己也写得很清楚。这种技术只能抓住那种把整份 PDF 原样塞进 LLM、再把输出原样复制粘贴回去的人。如果是节选文本再输入、对输出做些许修饰，或者用本地模型，就抓不到。换句话说，795 条只是一个下限，而且这种方法分不清"无心之失"和"精心设计的违规"。

而且还有更坏的消息。Li 等人(2026 年)证明，在不改变论文科学内容、也不改变表达方式的前提下，只需对抗性地改写摘要，就能改善 AI 评审的结果。哪怕不知道具体用的是哪个评审模型，最强的攻击手法成功率也能达到约 38%，在 10 分制下，能把 Gemini 3 Flash 评审者给出的分数拉高 1.31 分，把 GPT 5.4 Mini 评审者给出的分数拉高 0.88 分。这意味着，评审这一侧越是自动化，就越容易被"打游戏"式地操纵。

已经被提出的诚信保障机制，以及各自的局限

目前实际在运转的机制有四种。

投稿阶段的自动引用核验。 这是 Ansari 建议、bib-audit 实现的方向。与登记机构做交叉核对是机械化、可自动化的工作，作者完全可以在投稿前把它做成一个 CI 门禁。它只能抓住引用的真实性问题，对实验或正文里的造假无能为力。

camera-ready 阶段的桌面拒稿。 ACL 2026 真的执行了这一条。根据 ACL 的声明，他们对 100 多篇引用了不存在文献的已接收论文做了桌面拒稿，流程分两步：先由自动系统在 camera-ready 版本里标记可疑条目，再由项目主席和高级领域主席用肉眼确认"这条参考文献确实不存在"。声明把引用定义为"关于两份作品之间关系的一种正式主张"，并明确指出，一旦这层关系被伪造，整份文档乃至整个学术记录的诚信都会受损。不过同一份声明后面又附加了一条更新 —— ACL 执行委员会开会后决定，涉事论文将走正常的重新投稿流程。这是一次撤回，而不是一次处罚。

审稿人 LLM 使用的检测与惩戒。 ICML 的水印是代表性做法，具体政策条文因会议而异。原文引用的 ECCV 2026 评审政策禁止用 LLM(无论本地部署还是通过 API)撰写评审意见或元评审，也单独禁止把投稿的大部分内容分享给 LLM。WACV 的审稿人指南把 LLM 生成的评审意见定性为"极不负责任的行为"，并允许以桌面拒稿审稿人自己的论文作为惩戒手段。这里会冒出一个实务上的两难 —— 就连 bib-audit 这样的核验工具，本身也会把投稿的一部分发送给托管型 LLM，所以审稿人在使用之前得先确认对应会议的政策。诚信工具和保密规定在这里正面相撞。

AI 辅助评审的受控实验。 NeurIPS 2026 选择了用测量取代禁止。参与实验的审稿人会按论文被随机分配到三种条件之一 —— 不使用 LLM、自由形式的 LLM 辅助、结构化的 LLM 辅助。界面集成在 OpenReview 里，只适用于作者同意参与实验的论文。评审完成后，不知道具体分配条件的领域主席会评估评审质量。除这项实验之外的一切 LLM 使用，都会被当作诚信政策违规而遭到桌面拒稿。个人认为，这是目前所有做法里最诚实的一种 —— 禁止执行不下去，放任又会摧毁信号，于是干脆用数据去确定到底哪种形式的辅助真正能提升评审质量。

与此同时，还叠加了对匿名性的重新调整。ICLR 已经开始在 OpenReview 上公开作者姓名。这是一项提高低质量批量投稿声誉成本的举措，但同时也让双盲评审本来想挡住的偏见重新回来了。这里没有免费的交换。

结语 —— 检测已经自动化了，只有决策还没有

这次事件里失败的不是检测。审稿人找出了假作者，建议了拒稿，并直接通知了组委会。信号是准确的，也及时送达了。可结果依然没有改变。

有三点值得留下来。

• 诚信应该是一道闸门，而不是一个打分维度。 一旦和新颖性、实验、清晰度放在同一个平面上，只要其他方面表现良好，它就会被吸收掉。ACL 在 camera-ready 阶段对 100 多篇论文做桌面拒稿，是一个虽然来得晚、但确实建起了闸门的案例。
• 把机械化的检查交给机器，把审稿人的时间留给科学本身。 把参考文献逐字段拿去和登记机构核对，是可以自动化的工作，完全可以前移到投稿前的 CI 门禁。而现在，这项工作是由无偿的审稿人在事后手工完成的。
• 不要把一个人的证词和会议方的确认混为一谈。 这篇文章的核心轶事至今没有被任何会议确认过，涉事论文也没有被指认出来。这种"未被确认"的状态本身，就是一个值得指出的问题 —— 如果没有人能看到审稿人提交的诚信举报究竟如何影响了最终决定，那这条举报渠道就是不可观测的。

评审流水线在设计之初，被当作一个信任系统，而不是一个垃圾邮件过滤器来构建。面对生成成本趋近于零的输入，我们正在实时目睹一个建立在"信任默认成立"这一假设之上的系统，是如何一步步崩塌的。