那些闪光的并非都是新奇：AI 生成研究中的抄袭

自动化科学研究被视为科学的最终前沿。最近，一些论文声称自主研究代理人可以生成新颖的研究想法。在乐观主义盛行的背景下，我们记录了一个关键关注点：相当一部分此类研究文件被巧妙地抄袭了。不同于以往专家评估研究想法的新颖性和可行性，我们要求 13 位专家在不同的情境逻辑下工作：识别 LLM 生成的研究文件与现有工作之间的相似性。令人关切的是，专家确定 50 个受评估的研究文件中有 24% 被认定为是改写的（具有一对一的方法论映射），或从现有工作中大量借用。这些报告的实例已被来自源论文作者的来源进行交叉验证。剩余的 76% 的文件与现有工作表现出不同程度的相似性，其中仅有一小部分似乎完全新颖。问题在于，这些 LLM 生成的研究文件不承认原始来源，绕过内置的抄袭检测器。最后，通过控制实验，我们表明自动抄袭检测器在捕捉来自此类系统的抄袭想法方面效果不佳。我们建议对 LLM 生成的研究进行审慎评估，并讨论我们发现的对学术出版的影响。