揭示并缓解 LLM 角色扮演中检测角色知识错误的挑战
计算与语言
2025-05-21 v2 人机交互
摘要
大型语言模型（LLM）角色扮演已广泛关注。真实的角色知识对构建逼真的 LLM 角色扮演代理至关重要。然而，现有研究通常忽略探索 LLM 在扮演角色时检测角色已知知识错误（KKE）和未知知识错误（UKE）的能力，这会导致低质量的角色可训练语料自动构建。在本文中，我们提出RoleKE-Bench 来评估 LLM 检测 KKE 和 UKE 的能力。结果表明，即便是最新的 LLM 也难有效检测这两种错误，尤其是针对熟悉的知识。我们实验了各种推理策略，并提出一种基于智能体的推理方法——自回忆与自怀疑（SRD），以探索进一步提升错误检测能力的潜力。实验表明，我们的方法有效提升了 LLM 检测角色知识错误的能力，但这仍是一个需要持续关注的问题。
引用
@article{arxiv.2409.11726,
title = {Revealing and Mitigating the Challenge of Detecting Character Knowledge Errors in LLM Role-Playing},
author = {Wenyuan Zhang and Shuaiyi Nie and Jiawei Sheng and Zefeng Zhang and Xinghua Zhang and Yongquan He and Tingwen Liu},
journal= {arXiv preprint arXiv:2409.11726},
year = {2025}
}
备注
25 pages, 6 figures, 20 tables