MedEinst：通过反事实差分诊基准测试医学 LLM 的Einstellung效应
计算与语言
2026-01-13 v1 人工智能
摘要
尽管在医学基准测试中取得高准确率，LLM 在临床诊断中仍 exhibits Einstellung效应——依赖统计捷径而非患者特定证据，导致对非典型病例误诊。现有基准测试未能检测到这一关键失效模式。我们引入MedEinst，一个包含 5,383 对临床病例（覆盖 49 种疾病）的反事实基准测试。每对病例包含对照病例和一个“陷阱”病例，其可辨证据被改变以翻转诊断结果。我们通过 Bias Trap Rate（即在正确诊断对照病例后误诊陷阱病例的概率）衡量其易受程度。对 17 个 LLM 进行广泛评估显示，前沿模型在基线准确率很高但严重的偏差陷阱率很高。因此，我们提出了 ECR-Agent，通过两个组件将 LLM 推理与证据医学标准对齐：（1）动态因果推理（DCI）通过双路径感知、跨三个层次（关联、干预、反事实）的动态因果图推理以及证据审计进行结构化推理，以进行最终诊断；（2）批判驱动的图谱和记忆演化（CGME）通过存储已验证的推理路径于 exemplar 库中并整合疾病特定知识于演化中的疾病图谱来迭代完善系统。将发布源代码。
引用
@article{arxiv.2601.06636,
title = {MedEinst: Benchmarking the Einstellung Effect in Medical LLMs through Counterfactual Differential Diagnosis},
author = {Wenting Chen and Zhongrui Zhu and Guolin Huang and Wenxuan Wang},
journal= {arXiv preprint arXiv:2601.06636},
year = {2026}
}
备注
19 pages, 7 figures