超越单一世界：跨宇宙语境中的超英角色扮演基准测试
计算与语言
2025-10-21 v2 人工智能
摘要
大语言模型（LLM）日益被用作角色扮演代理，但其忠实且一致地描绘特定版本角色（例如，超英在漫画与电影宇宙中的不同版本）的能力仍未得到充分探讨。超英神话如 Marvel 和 DC 提供了丰富的测试基准：数十年叙事积淀导致同一角色拥有多个不同版本，拥有各自的历史、价值观和道德代码。为研究此问题，我们引入 Beyond One World，一个覆盖 30 位标志性超英及 90 个宇宙特定版本的角色扮演基准。该基准包含两个任务：(i) 神话事件（Canon Events），探究关键人生阶段的事实性记忆；(ii) 道德困境（Moral Dilemmas），将模型置于伦理敏感情境中。我们在框架下对响应进行评分，该框架将内部 deliberation（思考）与外部决策（行动）分离。我们进一步提出 Think-Act Matching 指标，用于量化原因与行动之间的对齐程度，作为模型可信度的代理指标。在推理与非推理模型的实验中，我们得出三个发现：(1) 链式思考提示提升了较弱模型的叙事连贯性，但会降低较强模型的神话准确性；(2) 角色跨版本的泛化仍是主要障碍；(3) 模型往往在思考或行动中精通其中，但很少两者兼备。Beyond One World 揭示了多宇宙一致性和推理对齐方面的关键缺口，为角色扮演 LLM 提供了具有挑战性的评估。
引用
@article{arxiv.2510.14351,
title = {Beyond One World: Benchmarking Super Heros in Role-Playing Across Multiversal Contexts},
author = {Perapard Ngokpol and Kun Kerdthaisong and Pasin Buakhaw and Pitikorn Khlaisamniang and Supasate Vorathammathorn and Piyalitt Ittichaiwong and Nutchanon Yongsatianchot},
journal= {arXiv preprint arXiv:2510.14351},
year = {2025}
}