PersonaGym：评估 Persona 代理与大语言模型
计算与语言
2025-09-08 v5 人工智能
机器学习
摘要
Persona 代理是一种以指定角色为条件的大语言模型（LLM）代理，使其在诸如教育和医疗等领域的交互能够实现更具上下文的特性和用户对齐。然而，评估这些代理在其角色设定下的忠实度仍是一个重大挑战，尤其是在需要跨越 diverse、与角色相关的环境以保持一致性的自由形式环境中。我们引入 PersonaGym，这是第一个用于评估 persona 代理的动态评估框架，并提出 PersonaScore，这是一种基于决策理论的人类对齐自动度量，能够实现对大规模评估的全面评估。我们对 10 个领先的大语言模型进行评估，涵盖 200 个角色和 10,000 个问题，揭示了显著的改进机会。例如，GPT-4.1 的 PersonaScore 与 LLaMA-3-8b 相同，尽管后者是更新且更先进的闭源模型。重要的是，模型规模和复杂度并不一定提升 persona 代理的能力，这凸显了需要在算法和架构方面创新，以实现忠实、高效的 persona 代理。
引用
@article{arxiv.2407.18416,
title = {PersonaGym: Evaluating Persona Agents and LLMs},
author = {Vinay Samuel and Henry Peng Zou and Yue Zhou and Shreyas Chaudhari and Ashwin Kalyan and Tanmay Rajpurohit and Ameet Deshpande and Karthik Narasimhan and Vishvak Murahari},
journal= {arXiv preprint arXiv:2407.18416},
year = {2025}
}
备注
EMNLP Findings 2025