基于Transformer的大语言模型的AI内容自检测
计算与语言
2024-01-01 v1 人工智能
摘要
基于大语言模型的生成式人工智能工具，包括ChatGPT、Bard和Claude，在文本生成方面有许多令人兴奋的应用，具有巨大生产力提升的潜力。一个问题是使用AI工具时的作者归属。这在学术环境中尤为重要，因为不当使用生成式AI工具可能会阻碍学生学习，或通过产生大量自动生成的衍生作品而抑制研究。现有的抄袭检测系统可以追踪提交文本的来源，但尚未配备准确检测AI生成文本的方法。本文介绍了直接来源检测的概念，并评估了生成式AI系统是否能识别自己的输出并将其与人类撰写的文本区分开来。我们论证了为什么当前的基于Transformer的模型可能能够自我检测其生成的文本，并进行了小规模实证研究，使用零样本学习来探究是否如此。结果显示，AI系统识别其生成文本的能力各不相同。Google的Bard模型表现出最大的自检测能力，准确率为94%，其次是OpenAI的ChatGPT，准确率为83%。另一方面，Anthropic的Claude模型似乎无法进行自检测。
引用
@article{arxiv.2312.17289,
title = {AI Content Self-Detection for Transformer-based Large Language Models},
author = {Antônio Junior Alves Caiado and Michael Hahsler},
journal= {arXiv preprint arXiv:2312.17289},
year = {2024}
}