地球是平的，因为……：通过说服性对话调查LLMs对错误信息的信念
计算与语言
2024-06-03 v5 人工智能
密码学与安全
计算机与社会
摘要
大型语言模型(LLMs)封装了大量知识，但仍然容易受到外部错误信息的影响。现有研究主要是在单轮对话场景下研究这种易受影响的行为。然而，在多轮对话中，尤其是在说服性对话中，信念可能会发生变化。因此，在本研究中，我们深入探讨了LLMs对说服性对话的易受影响程度，特别是针对它们能够正确回答的事实性问题。我们首先整理了Farm（即事实到错误信息）数据集，其中包含事实性问题以及系统生成的具有说服力的错误信息。然后，我们开发了一个测试框架来追踪LLMs在说服性对话中的信念变化。通过大量实验，我们发现LLMs对事实知识的正确信念很容易被各种说服策略所操纵。
引用
@article{arxiv.2312.09085,
title = {The Earth is Flat because...: Investigating LLMs' Belief towards Misinformation via Persuasive Conversation},
author = {Rongwu Xu and Brian S. Lin and Shujian Yang and Tianqi Zhang and Weiyan Shi and Tianwei Zhang and Zhixuan Fang and Wei Xu and Han Qiu},
journal= {arXiv preprint arXiv:2312.09085},
year = {2024}
}
备注
Accepted to ACL'24 (Main). Camera-ready version