Pangram AI生成文本分类器技术报告
计算与语言
2024-07-30 v3 人工智能
摘要
我们提出 Pangram Text，一款基于Transformer的神经网络，用于区分大语言模型生成的文本与人类撰写的文本。Pangram Text 在包含10个文本领域(学生写作、创意写作、科学写作、书籍、百科全书、新闻、邮件、科学论文、短篇Q&A)和8个开放及封闭源大语言模型的综合基准测试中，优于零-shot 方法如 DetectGPT，以及领先的商业AI检测工具，错误率低于其38倍。我们提出一种训练算法——结合合成镜像的硬负采样(hard negative mining with synthetic mirrors)，使该分类器在诸如评论等高数据领域实现数量级降低的假阳性率。最后，我们展示 Pangram Text 不偏向非母语者，并能推广至训练期间未看到的领域和模型。
引用
@article{arxiv.2402.14873,
title = {Technical Report on the Pangram AI-Generated Text Classifier},
author = {Bradley Emi and Max Spero},
journal= {arXiv preprint arXiv:2402.14873},
year = {2024}
}