PlagBench：探索大型语言模型在抄袭生成与检测中的二元性

近期研究提出了大型语言模型（LLM）对学术完整性和版权保护构成潜在威胁的隐忧。然而，这些研究主要聚焦于对原文的逐字复制，且如何利用LLM促进LLM生成抄袭的检测仍鲜有探讨。为填补这一空白，我们引入\textbf{{\sf PlagBench}}，一个包含46.5K个人工合成文本对的数据集，代表三种主要类型的抄袭：逐字复制、改写和概括。这些样本由三个先进的LLM生成。我们通过细粒度自动评估和人工标注相结合的方式严格验证了PlagBench的质量。随后，我们利用该数据集用于两个目的：(1) 检查LLMs将原始内容转化为准确改写和概括的能力，(2) 评估五个现代LLMs以及三个专门抄袭检测工具的抄袭检测性能。我们的结果表明，GPT-3.5 Turbo能够在不显著增加文本复杂度方面产生高质量的改写和概括。然而在检测方面，GPT-4在其他LLMs和商业检测工具之上 outperform了约20%，凸显了LLMs不仅在内容生成方面，还在抄袭检测方面能力的不断演进。数据和源代码均可在 https://github.com/Brit7777/plagbench 获取。