TimeChara: 评估角色扮演大语言模型的时点角色幻觉

虽然大语言模型 (LLM) 可作为模拟人类行为的代理人（即角色扮演代理人），但我们强调时点角色扮演的重要性。这将角色置于叙事进展的特定时刻，以三个主要原因为由：(i)增强用户的叙事沉浸感，(ii)避免剧透，以及 (iii)促进粉丝角色扮演的参与度。为了准确地在特定时间点上表示角色，代理人必须避免角色幻觉，即显示与角色身份和历史时间线相矛盾的知识。我们引入 TimeChara，一个用于评估角色扮演大语言模型中时点角色幻觉的新基准。该基准由通过自动化管道生成的 10,895 个实例组成，揭示了当前最先进大语言模型（如 GPT-4o）存在显著幻觉问题。为对抗这一挑战，我们提出了 Narrative-Experts 方法，通过分解推理步骤并利用叙事专家来有效减少时点角色幻觉。尽管如此，TimeChara 的发现仍突显了时点角色幻觉的持续挑战，呼吁进一步研究。