InCharacter：通过心理学访谈评估角色扮演智能体的性格保真度
计算与语言
2024-06-10 v4
摘要
由大语言模型驱动的角色扮演智能体（RPA）已成为一个蓬勃发展的应用领域。然而，一个关键挑战在于评估 RPA 是否准确再现目标角色的人物形象，即其角色保真度。现有方法主要关注角色的知识与语言模式。本文则引入一种新视角，利用心理学量表评估 RPA 的性格保真度。为克服以往 RPA 自我报告评估的缺陷，我们提出 InCharacter，即对角色智能体进行访谈以进行性格测试。实验涵盖多种类型的 RPA 与 LLM，涉及 14 个广泛使用的心理学量表上的 32 个不同角色。结果验证了 InCharacter 在测量 RPA 性格方面的有效性。随后，借助 InCharacter，我们表明最先进的 RPA 展现出与人物类人类感知性格高度对齐的性格，准确率高达 80.7%。
引用
@article{arxiv.2310.17976,
title = {InCharacter: Evaluating Personality Fidelity in Role-Playing Agents through Psychological Interviews},
author = {Xintao Wang and Yunze Xiao and Jen-tse Huang and Siyu Yuan and Rui Xu and Haoran Guo and Quan Tu and Yaying Fei and Ziang Leng and Wei Wang and Jiangjie Chen and Cheng Li and Yanghua Xiao},
journal= {arXiv preprint arXiv:2310.17976},
year = {2024}
}
备注
ACL 2024