评估GPTZero在识别AI与人类撰写论文准确性方面的表现
人工智能
2025-07-01 v1 计算与语言
摘要
随着AI工具在学生中的使用日益普及，教师们开始使用GPTZero和QuillBot等AI检测工具来检测AI生成的文本。然而，这些检测器的可靠性仍不确定。本研究重点关注GPTZero——最常使用的AI检测器——在识别不同长度的随机提交论文中AI生成文本的成功率：短篇（40-100词数）、中篇（100-350词数）和长篇（350-800词数）。我们收集了由28篇AI生成论文和50篇人类撰写论文组成的数据集。借助这套随机化论文数据，将论文 individually 输入GPTZero，并测量AI生成的百分比及其置信水平。大多数AI生成论文被准确检测（AI生成率为91-100%），而人类生成论文则有波动；仍有少数假阳性。这些发现表明，尽管GPTZero在检测纯粹AI生成内容方面有效，但其在区分人类撰写文本的可靠性有限。因此，教育者在仅依赖AI检测工具时应加以谨慎。
关键词
引用
@article{arxiv.2506.23517,
title = {Assessing GPTZero's Accuracy in Identifying AI vs. Human-Written Essays},
author = {Selin Dik and Osman Erdem and Mehmet Dik},
journal= {arXiv preprint arXiv:2506.23517},
year = {2025}
}