MMRole：多模态角色扮演智能体开发与评估的综合框架
人工智能
2025-02-18 v2
摘要
最近，角色扮演智能体（Role-Playing Agents, RPAs）因其在提供情感价值和促进社会学研究方面的潜力而受到越来越多的关注。然而，现有研究主要局限于文本模态，无法模拟人类的多模态感知能力。为了弥补这一差距，我们引入了多模态角色扮演智能体（Multimodal Role-Playing Agents, MRPAs）的概念，并提出了一个全面的框架 MMRole，用于其开发和评估，该框架包括一个个性化多模态数据集和一个鲁棒的评估方法。具体而言，我们构建了一个大规模高质量数据集 MMRole-Data，包含 85 个角色、11K 张图像和 14K 条单轮或多轮对话。此外，我们提出了一种鲁棒的评估方法 MMRole-Eval，涵盖三个维度上的八项指标，其中设计了一个奖励模型，利用构建的 ground-truth 数据对 MRPAs 进行评分比较。此外，我们开发了第一个专门的多模态角色扮演智能体 MMRole-Agent。广泛的评估结果证明了 MMRole-Agent 性能的提升，并突出了开发 MRPAs 的主要挑战，强调了需要增强多模态理解和角色扮演一致性。数据、代码和模型均可在 https://github.com/YanqiDai/MMRole 获取。
引用
@article{arxiv.2408.04203,
title = {MMRole: A Comprehensive Framework for Developing and Evaluating Multimodal Role-Playing Agents},
author = {Yanqi Dai and Huanran Hu and Lei Wang and Shengjie Jin and Xu Chen and Zhiwu Lu},
journal= {arXiv preprint arXiv:2408.04203},
year = {2025}
}
备注
Accepted for the 13th International Conference on Learning Representations (ICLR 2025)