CoSER：用于训练和评估LLM角色扮演与人格模拟的全面文学数据集与框架
计算与语言
2026-01-06 v3 人工智能
摘要
角色扮演语言代理（RPLA）已成为大语言模型（LLM）的有前景的应用之一。然而，由于缺乏真实的人格数据集和使用此类数据进行细致评估的方法，模拟既定人格仍是一个具有挑战性的任务。本文提出CoSER，一个包含高质量数据集、开放模型和评估协议的集合，旨在有效地实现既定人格的角色扮演。CoSER数据集覆盖来自771部著名书籍的17,966个角色。它提供具有真实世界细节的对话，以及各种数据类型，如情景设置、角色经历和内在思想。借助演员方法论，我们引入given-circumstance acting（给定情境演出）用于训练和评估角色扮演LLM，其中LLM依次在书籍情景中扮演多个角色。使用我们的数据集，我们开发了CoSER 8B和CoSER 70B，即基于LLaMA-3.1模型构建的高级开放角色扮演LLM。广泛的实验表明，CoSER数据集对于RPLA训练、评估和检索都具有重要价值。此外，CoSER 70B在我们的评估和三个现有基准测试中表现出领先或相当于GPT-4o的水平，分别在InCharacter和LifeChoice基准测试中达到75.80%和93.47%的准确率。
引用
@article{arxiv.2502.09082,
title = {CoSER: A Comprehensive Literary Dataset and Framework for Training and Evaluating LLM Role-Playing and Persona Simulation},
author = {Xintao Wang and Heng Wang and Yifei Zhang and Xinfeng Yuan and Rui Xu and Jen-tse Huang and Siyu Yuan and Haoran Guo and Jiangjie Chen and Shuchang Zhou and Wei Wang and Yanghua Xiao},
journal= {arXiv preprint arXiv:2502.09082},
year = {2026}
}
备注
Accepted by ICML 2025