GPT 生成文本检测：基准数据集与基于张量的检测方法
计算与语言
2024-03-13 v1
摘要
随着 ChatGPT 等自然语言模型在应用和服务中日益普及，开发稳健且准确的方法来检测其输出至关重要。本文提出了 GPT Reddit 数据集（GRiD），这是一个新颖的生成式预训练变换器（GPT）生成文本检测数据集，旨在评估检测模型在识别 ChatGPT 生成回复方面的性能。该数据集由基于 Reddit 的多样化上下文 - 提示对组成，包含人类生成和 ChatGPT 生成的回复。我们分析了数据集的特征，包括语言多样性、上下文复杂度和回复质量。为展示该数据集的实用性，我们在其上对多种检测方法进行了基准测试，证明了它们在区分人类与 ChatGPT 生成回复方面的有效性。该数据集作为评估和推进 ChatGPT 背景下检测技术的资源，有助于确保持续努力以实现互联网上负责任且可信的 AI 驱动通信。最后，我们提出了 GpTen，一种新颖的基于张量的 GPT 文本检测方法，该方法本质上是半监督的，因为它仅能访问人类生成的文本，但其性能与全监督基线相当。
引用
@article{arxiv.2403.07321,
title = {GPT-generated Text Detection: Benchmark Dataset and Tensor-based Detection Method},
author = {Zubair Qazi and William Shiao and Evangelos E. Papalexakis},
journal= {arXiv preprint arXiv:2403.07321},
year = {2024}
}
备注
4 pages, 2 figures, published in the WWW 2024 Short Papers Track