AI 生成文本检测工具的实证研究
计算与语言
2023-10-24 v1 人工智能
机器学习
摘要
自 ChatGPT 作为主要的 AIGC 模型出现以来，其在包括软件开发与维护在内的广泛应用场景中提供高质量回复，已引起许多人的浓厚兴趣。ChatGPT 前景广阔，但其滥用可能引发的严重问题，尤其在教育与公共安全领域。现有若干 AIGC 检测器，且均已在真实文本上测试。然而，仍需更多研究以考察它们对多领域 ChatGPT 内容的有效性。本研究旨在填补这一空白，通过构建一个多领域数据集来测试大学及其他研究机构所使用的、用于检测人工生成信息的先进 API 与工具。本研究创建了一个由文章、摘要、故事、新闻与产品评论组成的大型数据集。第二步是利用新建数据集对六种工具进行充分测试。六种不同的AI文本识别系统，包括“GPTkit”、“GPTZero”、“Originality”、“Sapling”、“Writer”与“Zylalab”，准确率介于 55.29% 至 97.0% 之间。尽管所有工具在评估中表现良好，originality 在各领域尤为有效。
引用
@article{arxiv.2310.01423,
title = {An Empirical Study of AI Generated Text Detection Tools},
author = {Arslan Akram},
journal= {arXiv preprint arXiv:2310.01423},
year = {2023}
}
备注
15 Pages, 4 Figures, 2 Tables, 42 References