PHAnToM：基于角色的提示对大语言模型心理理论推理的影响
计算与语言
2024-10-23 v3
摘要
LLM 在自然语言推理中的应用表现出好坏参半的结果，有时在较简单的分类任务中匹敌甚至超越人类表现，但在社会认知推理方面却显得吃力，而这是人类自然擅长的领域。这些差异被归因于许多因素，例如提示的变化和所使用的特定 LLM。然而，没有哪个原因看起来是决定性的，以往工作也未建立明确的机制。在本研究中，我们实证评估了角色扮演提示如何影响心理理论（Theory-of-Mind, ToM）推理能力。基于心理学理论，我们提出如下机制：除了推理任务复杂性固有的差异外，性能差异是由于受社会动机驱使的提示差异而产生的。在以角色扮演提示工程使 LLM 适应新语境成为典型方法的时代，我们的研究倡导谨慎行事，因为采用特定角色的模型可能会在社会认知推理中导致错误。
引用
@article{arxiv.2403.02246,
title = {PHAnToM: Persona-based Prompting Has An Effect on Theory-of-Mind Reasoning in Large Language Models},
author = {Fiona Anting Tan and Gerard Christopher Yeo and Kokil Jaidka and Fanyou Wu and Weijie Xu and Vinija Jain and Aman Chadha and Yang Liu and See-Kiong Ng},
journal= {arXiv preprint arXiv:2403.02246},
year = {2024}
}
备注
8 pages