缓解虚构角色角色扮演中的幻觉问题
计算与语言
2024-11-12 v2
摘要
角色扮演在客户服务、具身智能体和计算社会科学等领域具有广泛的应用前景。大型语言模型(LLM)的参数化世界知识常常会导致角色扮演人物行为不符合人物设定，或对其知识范围之外的事物进行幻觉。本文聚焦于虚构角色角色扮演中的幻觉评估与缓解。我们构建了一个包含超过 2,000 个角色和 72,000 份访谈（其中包括 18,000 份对抗性问题）的数据集。我们提出了 RoleFact 方法，通过调节参数化知识的影响并运用预先校准的置信阈值来缓解幻觉。实验表明，该方法在对抗性问题上将生成响应的事实准确性提高了 18%，在时间敏感型访谈中将时间幻觉减少 44%。代码和数据集均已公开：https://github.com/NafisSadeq/rolefact.git。
引用
@article{arxiv.2406.17260,
title = {Mitigating Hallucination in Fictional Character Role-Play},
author = {Nafis Sadeq and Zhouhang Xie and Byungkyu Kang and Prarit Lamba and Xiang Gao and Julian McAuley},
journal= {arXiv preprint arXiv:2406.17260},
year = {2024}
}
备注
EMNLP 2024 Camera Ready