角色扮演语言智能体内心思维推理基准： Guess What I am Thinking
人工智能
2025-03-12 v1
摘要
近期LLM-based角色扮演语言智能体（RPLA）的进展在 various applications中引起了广泛关注。虽然链式思维推理在许多LLM任务中显示出重要性，但RPLA的内部思维过程尚未得到探索。理解角色的内心思维对于开发高级RPLA至关重要。本文引入ROLETHINK，一个从文学作品中构建的用于评估角色思维生成的新基准。我们提出内心思维推理任务，包含两个子集：金集与银集，分别将生成的思维与原始人物独白进行比较，或使用专家综合的人物分析作为参考。为此，我们提出MIRROR，一种链式思维方法，通过检索记忆、预测人物反应和综合动机来生成角色思维。通过大量实验，我们证明了内心思维推理对RPLA的重要性，MIRROR consistently优于现有方法。资源可在https://github.com/airaer1998/RPA_Thought上获得。
引用
@article{arxiv.2503.08193,
title = {Guess What I am Thinking: A Benchmark for Inner Thought Reasoning of Role-Playing Language Agents},
author = {Rui Xu and MingYu Wang and XinTao Wang and Dakuan Lu and Xiaoyu Tan and Wei Chu and Yinghui Xu},
journal= {arXiv preprint arXiv:2503.08193},
year = {2025}
}