人类与 AI 生成文本的分类:针对 ChatGPT 的特征研究
计算与语言
2023-11-14 v1 人工智能
摘要
最近,像 ChatGPT 这样的生成式 AI 已向公众开放。这些工具例如可被学生用来生成论文或整篇毕业论文。但教师如何知道文本是由学生还是 AI 写的?在我们的工作中,我们探索传统和新特征以(1)检测从零生成的 AI 文本和(2)被 AI 改写的文本。由于我们发现当 AI 被指示以人类无法识别其为 AI 生成的方式创建文本时分类更加困难,我们也研究了这种更高级的情况。为实验,我们制作了一个涵盖 10 个学校主题的新文本语料库。我们用于分类基础和高级人类生成/AI 生成文本的最佳系统的 F1 分数超过 96%。我们用于分类基础和高级人类生成/AI 改写文本的最佳系统的 F1 分数超过 78%。这些系统使用了困惑度、语义、列表查找、基于错误、可读性、AI 反馈和文本向量特征的组合。我们的结果表明,新特征大幅有助于提升许多分类器的性能。我们最佳的基础文本改写检测系统在 F1 分数上相对 GPTZero 甚至高出 183.8%。
引用
@article{arxiv.2308.05341,
title = {Classification of Human- and AI-Generated Texts: Investigating Features for ChatGPT},
author = {Lorenz Mindner and Tim Schlippe and Kristina Schaaff},
journal= {arXiv preprint arXiv:2308.05341},
year = {2023}
}