识别AI的痕迹：检测文本中LLM改写的片段
计算与语言
2024-05-30 v2 人工智能
摘要
AI生成文本检测因强大的语言模型接近人类水平而受到关注。但检测（部分）AI改写文本的工作很少。然而，AI改写常用于文本润色和多样性的各种应用场景。为此，我们提出一个新的检测框架——改写文本片段检测（PTD），旨在识别文本中被改写的片段。与文本级检测不同，PTD接收全文并为每个句子分配一个表示改写程度的分数。我们构建了一个专用数据集PASTED用于改写文本片段检测。分布内和分布外结果均表明PTD模型在识别AI改写文本片段方面的有效性。统计和模型分析解释了改写文本片段周围上下文的关键作用。大量实验表明PTD模型可以泛化到多种改写提示和多个改写文本片段。我们在https://github.com/Linzwcs/PASTED发布资源。
引用
@article{arxiv.2405.12689,
title = {Spotting AI's Touch: Identifying LLM-Paraphrased Spans in Text},
author = {Yafu Li and Zhilin Wang and Leyang Cui and Wei Bi and Shuming Shi and Yue Zhang},
journal= {arXiv preprint arXiv:2405.12689},
year = {2024}
}
备注
ACL 2024 Findings