以火攻火：ChatGPT 能否检测 AI 生成文本？
计算与语言
2023-08-21 v2 人工智能
摘要
诸如 ChatGPT 之类的大语言模型（LLMs）正日益被用于各种应用场景，包括大规模文本内容生成。尽管针对此类 AI 生成文本的检测方法已经存在，受将 ChatGPT 用作数据标注器或注释器相关工作的启发，我们研究了 ChatGPT 作为此类 AI 生成文本检测器的性能。我们评估了 ChatGPT 在人工撰写文本与 AI 生成文本检测任务中的零样本性能，并在公开可用数据集上进行了实验。我们实证考察了 ChatGPT 在检测 AI 生成文本或人工撰写文本时是否具有对称有效性。我们的发现为如何通过将重点放在解决该问题的特定方面并由此推导其余部分，从而在自动化检测流程中利用 ChatGPT 及类似 LLMs 提供了见解。所有代码与数据可在 https://github.com/AmritaBh/ChatGPT-as-Detector 获取。
引用
@article{arxiv.2308.01284,
title = {Fighting Fire with Fire: Can ChatGPT Detect AI-generated Text?},
author = {Amrita Bhattacharjee and Huan Liu},
journal= {arXiv preprint arXiv:2308.01284},
year = {2023}
}
备注
to appear in SIGKDD Explorations (December 2023)