通过投注式序列假设检验在线检测LLM生成文本
机器学习
2025-06-09 v3
摘要
近年来，开发区分机器生成文本与人类撰写文本的算法引起了广泛关注。该方向的现有方法通常涉及离线设置，即预先给定一个包含真实文本和机器生成文本的混合数据集，任务是确定数据集中的每个样本是来自大型语言模型（LLM）还是人类。然而，在许多实际场景中，新闻网站、社交媒体账户和在线论坛等信息源以流式方式发布内容。因此，在这种在线场景下，如何快速准确地判断信息源是否为LLM，并具备强大的统计保证，对于这些媒体或平台有效运作并防止错误信息传播及LLM的其他潜在滥用至关重要。为了解决在线检测问题，我们开发了一种基于投注式序列假设检验技术的算法，该算法不仅建立于并补充了现有的离线检测技术，还享有统计保证，包括受控的假阳性率以及正确识别信息源为LLM的期望时间。我们进行了实验以证明我们方法的有效性。
引用
@article{arxiv.2410.22318,
title = {Online Detection of LLM-Generated Texts via Sequential Hypothesis Testing by Betting},
author = {Can Chen and Jun-Kun Wang},
journal= {arXiv preprint arXiv:2410.22318},
year = {2025}
}