基于训练的检测 ChatGPT 方法的泛化性研究
计算与语言
2023-10-04 v2 人工智能
机器学习
摘要
ChatGPT 是最受欢迎的语言模型之一，在各种自然语言任务上取得了惊人性能。因此，也迫切需要将 ChatGPT 生成的文本与人类书写文本区分开来。被广泛研究的方法之一是训练分类模型以区分二者。然而，已有研究亦表明，训练得到的模型可能遭受分布偏移（在测试期间），即它们对来自未见语言任务或主题的生成文本无效。本工作中，我们旨在全面考察这些方法在由提示、文本长度、主题与语言任务等广泛因素引起的分布偏移下的泛化行为。为实现该目标，我们首先收集了一个包含人类与 ChatGPT 文本的新数据集，随后在该数据集上开展广泛研究。我们的研究揭示了具有洞察力的发现，为未来 ChatGPT 检测方法的方法论开发或数据收集策略提供了指导。
引用
@article{arxiv.2310.01307,
title = {On the Generalization of Training-based ChatGPT Detection Methods},
author = {Han Xu and Jie Ren and Pengfei He and Shenglai Zeng and Yingqian Cui and Amy Liu and Hui Liu and Jiliang Tang},
journal= {arXiv preprint arXiv:2310.01307},
year = {2023}
}