说出真相:欺骗语言与语言模型
计算与语言
2024-04-09 v3 人工智能
摘要
基于文本的虚假信息充斥网络话语,然而关于人们从此类欺骗性文本内容中辨别真相的能力的证据却很少。我们分析了一档新颖的电视游戏节目数据,其中在具有冲突目标个体之间的高风险环境对话导致了谎言。我们研究了在客观真相存在下潜在可验证的欺骗语言线索的显现,这一区分性特征是先前基于文本的欺骗数据集所缺失的。我们表明存在一类检测器(算法),其真相检测性能与人类受试者相近,即便前者仅能访问语言线索,而后者参与对话并可完整访问所有潜在线索来源(语言与视听)。我们基于大语言模型构建的模型采用瓶颈框架来学习可辨别的线索以判定真相,这是一种推理行为,人类受试者即便有激励也常表现不佳。我们的模型在许多人类未能检测欺骗的案例中检测到了新颖而准确的语言线索,开启了人类与算法协作并改善其真相检测能力的可能性。
引用
@article{arxiv.2311.07092,
title = {To Tell The Truth: Language of Deception and Language Models},
author = {Sanchaita Hazra and Bodhisattwa Prasad Majumder},
journal= {arXiv preprint arXiv:2311.07092},
year = {2024}
}
备注
Accepted as a full paper in NAACL 2024 (Main)