基于多尺度正-无标签的AI生成文本检测
计算与语言
2024-03-06 v4 人工智能
摘要
近期发布的大语言模型（LLM），如ChatGPT，在生成类人文本方面令人惊叹，但可能影响文本真实性。已有研究提出检测这些AI生成文本的方法，包括简单ML分类器、基于预训练模型的零样本方法以及微调语言分类模型。然而，主流检测器在短文本（如短信、推文和评论）上总是失效。本文提出多尺度正-无标签（MPU）训练框架，以解决短文本检测难题且不牺牲长文本性能。首先，我们承认短机器文本的类人属性，并将AI文本检测重述为部分正-无标签（PU）问题，将这些短机器文本视为部分“无标签”。然后在此PU语境下，我们提出长度敏感的多尺度PU损失，其中以抽象方式使用循环模型估计尺度可变语料的正类先验。此外，我们引入文本多尺度模块以丰富训练语料。实验表明，我们的MPU方法提升了长AI生成文本的检测性能，并显著改善语言模型检测器在短文本上的检测。经MPU训练的语言模型可在各类短文本与长文本检测基准上超越现有检测器。代码见https://github.com/mindspore-lab/mindone/tree/master/examples/detect_chatgpt与https://github.com/YuchuanTian/AIGC_text_detector。
引用
@article{arxiv.2305.18149,
title = {Multiscale Positive-Unlabeled Detection of AI-Generated Texts},
author = {Yuchuan Tian and Hanting Chen and Xutao Wang and Zheyuan Bai and Qinghua Zhang and Ruifeng Li and Chao Xu and Yunhe Wang},
journal= {arXiv preprint arXiv:2305.18149},
year = {2024}
}
备注
ICLR2024 (Spotlight)