文本是否由ChatGPT参与生成？度量润色比例以检测ChatGPT生成文本
计算与语言
2024-01-02 v2
摘要
诸如ChatGPT等大规模语言模型在文本生成方面的卓越能力令读者印象深刻，并促使研究者设计检测器以缓解潜在风险，包括虚假信息、钓鱼与学术不端。尽管如此，以往多数研究主要致力于创建区分纯ChatGPT生成文本与人类撰写文本的检测器。然而，这种方法无法甄别通过人机协作生成的文本，例如ChatGPT润色文本。为弥补此缺口，我们引入称为HPPT（ChatGPT-polished academic abstracts，ChatGPT润色学术摘要）的新数据集，助力构建更鲁棒的检测器。它与现有语料不同，包含成对人类撰写与ChatGPT润色摘要，而非纯ChatGPT生成文本。此外，我们提出“Polish Ratio（润色比例）”方法，一种衡量ChatGPT相较原始人类撰写文本修改程度的新颖测度。它提供了一种机制来度量所得文本中ChatGPT的影响程度。我们的实验结果表明，所提模型在HPPT数据集与两个现有数据集（HC3与CDB）上具有更好的鲁棒性。进而，我们提出的“Polish Ratio”通过量化ChatGPT参与程度提供了更全面的解释。
引用
@article{arxiv.2307.11380,
title = {Is ChatGPT Involved in Texts? Measure the Polish Ratio to Detect ChatGPT-Generated Text},
author = {Lingyi Yang and Feng Jiang and Haizhou Li},
journal= {arXiv preprint arXiv:2307.11380},
year = {2024}
}