LLMs 对中国动漫爱好者：情感支持角色扮演比较研究
计算与语言
2025-08-11 v1
摘要
大型语言模型（LLMs）在角色扮演对话和提供情感支持方面都展现出惊人的能力。然而，目前在将这两项能力结合起来以实现与虚拟角色进行情感支持互动的研究仍存在显著空白。为填补这一空白，我们聚焦于动漫角色作为案例研究，因为它们拥有明确的性格设定和庞大的粉丝群体。这一选择使我们能够有效评估 LLMs 在保持特定角色特质的同时提供情感支持的能力。我们引入 ChatAnime，即首个 Emotionally Supportive Role-Playing（ESRP）数据集。我们首先仔细挑选来自流行动漫社区的20位一线角色，并设计60个以情感为中心的真实世界情景问题。随后，我们进行全国性选拔，以识别40位对特定角色有深入了解且在角色扮演中拥有广泛经验的中国动漫爱好者。接着，我们系统收集来自10个 LLMs 和这40位中国动漫爱好者的两轮对话数据。为评估 LLMs 的 ESRP 性能，我们设计了一个以用户体验为导向的评估系统，包含9项细粒度指标，涵盖三个维度：基础对话、角色扮演和情感支持，以及整体响应多样性指标。该数据集总计包含2,400 条人工编写和24,000 条 LLM 生成的答案，配有超过132,000 条人类标注。实验结果表明，表现最佳的 LLMs 在角色扮演和情感支持方面超越了人类粉丝，而人类在响应多样性方面仍领先。我们希望本工作为未来在 ESRP 领域优化 LLMs 提供宝贵资源和见解。我们的数据集可在 https://github.com/LanlanQiu/ChatAnime 上获取。
关键词
引用
@article{arxiv.2508.06388,
title = {LLMs vs. Chinese Anime Enthusiasts: A Comparative Study on Emotionally Supportive Role-Playing},
author = {Lanlan Qiu and Xiao Pu and Yeqi Feng and Tianxing He},
journal= {arXiv preprint arXiv:2508.06388},
year = {2025}
}
备注
21 pages, 17 figures, 3 tables