RoleConflictBench：用于评估 LLM 上下文敏感性的角色冲突场景基准
计算与语言
2026-04-20 v2 人工智能
计算机与社会
摘要
人们经常遇到角色冲突——即多个角色的期望发生冲突且无法同时满足的社会困境。随着大型语言模型 (LLM) 越来越多地参与这些社会动态，一个关键的研究问题出现了。当面临此类困境时，LLM 是优先考虑动态上下文线索还是学习到的偏好？为了解决这个问题，我们引入了 RoleConflictBench，这是一个旨在衡量 LLM 在角色冲突场景中上下文敏感性的新型基准。为了在这个主观领域内实现客观评估，我们采用情境紧迫性作为决策的约束条件。我们通过一个三阶段流水线构建数据集，通过系统地改变相互竞争情境的紧迫性，在五个社会领域的 65 个角色中生成了超过 13,000 个真实场景。这种受控设置使我们能够定量衡量上下文敏感性，确定模型决策是与情境上下文一致，还是被学习到的角色偏好所覆盖。我们对 10 个 LLM 的分析表明，模型显著偏离了这一客观基线。它们的决策并非响应动态上下文线索，而是主要由对特定社会角色的偏好所主导。
引用
@article{arxiv.2509.25897,
title = {RoleConflictBench: A Benchmark of Role Conflict Scenarios for Evaluating LLMs' Contextual Sensitivity},
author = {Jisu Shin and Hoyun Song and Juhyun Oh and Changgeon Ko and Eunsu Kim and Chani Jung and Alice Oh},
journal= {arXiv preprint arXiv:2509.25897},
year = {2026}
}
备注
Accepted to Findings of ACL 2026