超越二元：基于角色识别与参与度测量的细粒度 LLM 生成文本检测
计算与语言
2025-02-07 v2
摘要
大型语言模型（LLM）的快速发展，如 ChatGPT，导致在社交媒体平台上大量出现 LLM 生成内容，这引发了关于误信息、数据偏见和隐私侵犯的担忧，这些问题可能削弱对在线讨论的信任。虽然检测 LLM 生成内容对于缓解这些风险至关重要，但当前方法通常只关注二元分类，无法解决现实场景中如人类-LLM 协作等复杂问题。为超越二元分类并解决这些挑战，本文提出了一种新的内容检测范式。该方法引入两个新任务：LLM 角色识别（LLM-RR），这是一项识别 LLM 在内容生成中具体角色的多类分类任务；LLM 参与度测量（LLM-IM），这是一项量化 LLM 在内容创建中参与程度的回归任务。为支持这些任务，本文提出了 LLMDetect 一个基准，旨在评估检测器在这些新任务上的性能。LLMDetect 包括用于训练检测器的混合新闻检测语料库（HNDC），以及 DetectEval 一个综合性的评估套件，考虑五种不同的跨情境变体以及同一 LLM 角色内的两种多强度变体。这允许对检测器在 diverse contexts 中的泛化性和鲁棒性进行全面评估。我们的实证验证表明，基于微调 PLM 的模型在两个任务上始终优于其他方法，而高级 LLM 在准确检测自身生成内容方面面临挑战。我们的实验结果和分析为 developing 更有效的检测模型提供了见解。本研究增进了对 LLM 生成内容的理解，为更细粒度的检测方法奠定了基础。
引用
@article{arxiv.2410.14259,
title = {Beyond Binary: Towards Fine-Grained LLM-Generated Text Detection via Role Recognition and Involvement Measurement},
author = {Zihao Cheng and Li Zhou and Feng Jiang and Benyou Wang and Haizhou Li},
journal= {arXiv preprint arXiv:2410.14259},
year = {2025}
}
备注
Social Media, Large Language Models, LLM-generated Text Detection, AI-assisted News Detection; Accepted by WWW2025