应用集成方法于模型无关的机器生成文本检测
计算与语言
2024-06-19 v1
摘要
本文研究当可能源自未知大语言模型(LLM)时，检测机器生成文本的问题。我们通过将集成方法应用于DetectGPT分类器(Mitchell等人, 2023)的输出，这是一种零样本机器生成文本检测模型，当生成(或基础)语言模型与判别(或评分)语言模型相同时，该模型具有高精度。我们发现，DetectGPT子模型输出的简单汇总统计量在保持其零样本特性的同时，AUROC达到0.73(相对于0.61)，而监督学习方法将精度急剧提升至0.94的AUROC，但需要训练数据集。这表明了进一步泛化以创建高精度、模型无关的机器生成文本检测器的可能性。
引用
@article{arxiv.2406.12570,
title = {Applying Ensemble Methods to Model-Agnostic Machine-Generated Text Detection},
author = {Ivan Ong and Boon King Quek},
journal= {arXiv preprint arXiv:2406.12570},
year = {2024}
}