CoCoNUTS：聚焦内容而忽略无信息文本风格以检测AI生成的同行评审
计算与语言
2025-09-08 v1 人工智能
摘要
大语言模型（LLMs）日益融入同行评审过程，给学术评价的公平性与可靠性带来了潜在风险。尽管 LLMs 为审稿人提供了宝贵的语言润色辅助，但人们越来越担忧其被用于生成实质性评审内容。现有的通用 AI 生成文本检测器易受改写攻击影响，且难以区分表面语言润色与实质性内容生成，这表明它们主要依赖风格线索。将此类检测器应用于同行评审时，该局限性可能导致对具有合理 AI 辅助语言增强的评审产生不公正怀疑，同时未能捕捉到伪装为人类写作的欺骗性 AI 生成评审。为解决此问题，我们提出从基于风格的检测向基于内容的检测的范式转变。具体而言，我们引入了 CoCoNUTS，这是一个建立在 AI 生成同行评审细粒度数据集基础上的面向内容的基准，涵盖了六种不同的人机协作模式。此外，我们开发了 CoCoDet，一种基于多任务学习框架的 AI 评审检测器，旨在对评审内容中的 AI 参与实现更准确、更稳健的检测。我们的工作为评估 LLMs 在同行评审中的应用提供了实践基础，并有助于为现实世界的学术应用开发更精确、公平和可靠的检测方法。我们的代码和数据将公开于 https://github.com/Y1hanChen/COCONUTS。
引用
@article{arxiv.2509.04460,
title = {CoCoNUTS: Concentrating on Content while Neglecting Uninformative Textual Styles for AI-Generated Peer Review Detection},
author = {Yihan Chen and Jiawei Chen and Guozhao Mo and Xuanang Chen and Ben He and Xianpei Han and Le Sun},
journal= {arXiv preprint arXiv:2509.04460},
year = {2025}
}