tortured phrases：科学中浮现的一种可疑写作风格——已影响知名期刊的严重问题证据
数字图书馆
2021-07-15 v1 计算与语言
计算机与社会
信息检索
摘要
十多年来，概率文本生成器一直被用于制造虚假科学论文。此类无意义论文易被人与机器检测出来。如今更复杂的AI驱动生成技术产出的文本与人类文本难以区分，且已有文献记载从少量关键词生成科学文本。我们的研究引入了“tortured phrases（ tortured phrases：扭曲短语）”的概念：用意外的怪异短语替代既定术语，例如用“counterfeit consciousness（伪造意识）”代替“artificial intelligence（人工智能）”。我们梳理文献寻找tortured phrases，并研究了一本此类短语大量集中的声誉良好期刊。假设使用了先进语言模型，我们在该期刊近期文章摘要及若干对照组上运行了检测器。两两比较揭示该期刊中被标记为“合成”的摘要集中出现。我们还强调了其运营中的异常，例如编辑时间线的突变。我们通过分析几篇个别可疑文章佐证展开调查的呼吁，强调可疑特征：tortured写作风格、引用不存在的文献，以及未注明来源的图像重用。令人惊讶的是，一些网站提供免费重写文本服务，生成充满tortured phrases的胡言乱语。我们相信部分作者使用重写文本充抵其稿件。我们希望提高对包含此类可疑AI生成或重写文本且通过了（糟糕的）同行评审的出版物的警觉。用合成文本欺骗威胁科学文献的完整性。
引用
@article{arxiv.2107.06751,
title = {Tortured phrases: A dubious writing style emerging in science. Evidence of critical issues affecting established journals},
author = {Guillaume Cabanac and Cyril Labbé and Alexander Magazinov},
journal= {arXiv preprint arXiv:2107.06751},
year = {2021}
}