人类协作是否能提高识别LLM生成深度伪造文本的准确性？
计算与语言
2023-10-11 v3 人工智能
人机交互
摘要
大型语言模型（如 GPT-4、LLaMA）的进展大规模改善了类似人类写作的连贯句子生成，导致了所谓深度伪造文本的创建。然而，这一进展带来了安全和隐私担忧，亟需有效的方案来区分深度伪造文本与人类书写的文本。尽管先前工作研究了人类检测深度伪造文本的能力，但尚无研究考察人类之间的“协作”是否改善了深度伪造文本的检测。在本研究中，为弥补对深度伪造文本理解的这一空白，我们进行了两组实验：(1) 来自 AMT 平台的非专家个人，以及 (2) 来自 Upwork 平台的写作专家。结果表明，人类之间的协作有可能提高两组对深度伪造文本的检测，与非专家个人检测准确率相比，非专家提高 6.36%，专家提高 12.76%。我们进一步分析了人类用于将一段文本检测为深度伪造文本的解释，发现深度伪造文本的最强指标是其缺乏连贯性与一致性。我们的研究为未来工具和框架设计以促进人类协作检测深度伪造文本提供了有用见解。实验数据集和 AMT 实现可在 https://github.com/huashen218/llm-deepfake-human-study.git 获取。
引用
@article{arxiv.2304.01002,
title = {Does Human Collaboration Enhance the Accuracy of Identifying LLM-Generated Deepfake Texts?},
author = {Adaku Uchendu and Jooyoung Lee and Hua Shen and Thai Le and Ting-Hao 'Kenneth' Huang and Dongwon Lee},
journal= {arXiv preprint arXiv:2304.01002},
year = {2023}
}
备注
Accepted at The 11th AAAI Conference on Human Computation and Crowdsourcing (HCOMP 2023)