你的论文会被LLM审稿吗？调查AI文本在同行评审中的可检测性
计算与语言
2024-12-09 v2 人工智能
摘要
同行评审是确保已发表科学研究完整性的关键过程。对这一过程的信任依赖于相关领域的专家对提交给出版物的手稿予以认真考虑的假设。随着大语言模型（LLMs）近期在语言能力方面的快速进步，新的风险正在威胁同行评审过程：即疏忽的评稿人会依赖LLM来执行耗时的评审过程。在本研究中，我们调查了现有AI文本检测算法区分人类同行评审与不同最先进LLM所撰写评审的能力。我们的分析表明，现有方法在不产生大量误报的同时，难以识别许多由GPT-4o撰写的评审。为克服这一不足，我们提出了一种新的检测方法，能够在低误报水平下优于现有方法地识别GPT-4o撰写的同行评审。我们的工作揭示了在individual review层面准确识别AI生成文本的困难，凸显了迫切需要新的工具和方法来检测此类不道德的生成式AI应用。
引用
@article{arxiv.2410.03019,
title = {Is Your Paper Being Reviewed by an LLM? Investigating AI Text Detectability in Peer Review},
author = {Sungduk Yu and Man Luo and Avinash Madasu and Vasudev Lal and Phillip Howard},
journal= {arXiv preprint arXiv:2410.03019},
year = {2024}
}