LLM 能否模拟带有反向性能的角色？在数学推理情境下的系统性检验
计算与语言
2026-03-17 v3
摘要
大语言模型 (LLMs) 日益广泛用于模拟虚拟环境中的角色，利用其指令遵循能力。然而，我们发现即便是最先进的 LLM 也无法模拟带有反向性能的角色（例如教育场景中性能较低的学生角色），这限制了模拟环境的多样性并限制了实际应用。本文以数学推理为典型场景，提出首个评估 LLM 能否模拟带有反向性能角色的基准数据集，称为“反向指令遵循”。我们评估了开源和闭源 LLM 在该任务上的表现，发现包括 OpenAI o1 推理模型在内的 LLM 均难以遵循反向指令以模拟反向性能角色。交叉式模拟角色的性能水平和种族人群加剧了这一效果。这些结果凸显了反向指令遵循的挑战，凸显了进一步研究的必要性。
引用
@article{arxiv.2504.06460,
title = {Can LLMs Simulate Personas with Reversed Performance? A Systematic Investigation for Counterfactual Instruction Following in Math Reasoning Context},
author = {Sai Adith Senthil Kumar and Hao Yan and Saipavan Perepa and Murong Yue and Ziyu Yao},
journal= {arXiv preprint arXiv:2504.06460},
year = {2026}
}