通过神经元消融解构医学 LLM 中的角色认知
计算与语言
2025-10-29 v1 人工智能
摘要
大型语言模型（LLM）在医学决策支持系统中获得了显著关注，尤其是在医学问答和角色扮演模拟情境中。常见做法是基于提示的角色扮演（PBRP），指示模型采取不同临床角色（如医学生、住院医师、主治医师）以模拟不同的专业行为。然而，这些角色提示对模型推理能力的影响尚不明确。本研究引入 RP-Neuron-Activated Evaluation Framework（RPNA）来评估角色提示是否会在 LLM 中引发特定于角色的认知过程，或仅修改语言风格。我们在三个医学问答数据集上测试了该框架，采用神经元消螩和表示分析技术来评估推理路径的变化。我们的结果表明，角色提示并未显著提升 LLM 的医学推理能力。相反，它们主要影响生成文本的表面层语言特征，没有证据表明不同临床角色之间存在特定的推理路径或认知差异。尽管存在表面的风格化变化，LLM 的核心决策机制在各种角色下保持一致，这表明当前的 PBRP 方法未能复制现实医学实践中所见的认知复杂性。这一发现凸显了角色扮演在医学 AI 中的局限性，并强调需要模拟真实认知过程的模型，而非仅仅是语言模仿。我们已在以下仓库发布相关代码：https://github.com/IAAR-Shanghai/RolePlay_LLMDoctor
引用
@article{arxiv.2510.24677,
title = {Dissecting Role Cognition in Medical LLMs via Neuronal Ablation},
author = {Xun Liang and Huayi Lai and Hanyu Wang and Wentao Zhang and Linfeng Zhang and Yanfang Chen and Feiyu Xiong and Zhiyu Li},
journal= {arXiv preprint arXiv:2510.24677},
year = {2025}
}
备注
15 pages, 9 figures