机制导向的 LoRA 提升医学视觉语言模型的释义一致性
计算机视觉与模式识别
2026-03-03 v1
摘要
医学视觉语言模型会对同一临床问题的改写表述给出不同的 yes 或 no 回答。我们使用 MedGemma-4B 进行了研究，采用 PSF-Med Sadanandan 和 Behzadan (2025) 提供的释义对进行系统一致性评估。在 MIMIC-CXR 二元问题中 (n = 158)，基线翻转率为 14.6%，平均边际差异为 1.63 个 logits。我们验证了 Gemma Scope 2 稀疏自编码器 (SAEs) 能移植到 MedGemma 激活函数中，在医学和通用文本中分别达到 R2 ~= 0.997 (n = 100 个提示每个，p < 0.001 超过 0.95 阈值)。随后，我们采用结合释义一致性和答案准确性的损失函数对 Low-Rank Adaptation (LoRA) 适配器进行微调。这种结合方法可防止纯一致性训练中的模式坍缩，同时将翻转率从 14.6% 降至 4.4% (p = 0.002，双比例 z 检验)，边际差异从 1.63 降至 0.33 (降幅 79.5%)。准确率保持稳定，基线为 84.2%，训练后为 82.3% (下降 1.9pp，不显著)。在 PadChest Balanced 数据集上 (n = 250)，翻转率从 13.6% 降至 7.8%，平均边际差异从 1.08 降至 0.35 (降幅 67.9%)，准确率从 66.4% 提升至 69.4%。层次范围消融实验表明，早期层次对降低边际差异的作用更大，而机制上选定的中间层次则表现较弱。
引用
@article{arxiv.2603.00148,
title = {Mechanistically Guided LoRA Improves Paraphrase Consistency in Medical Vision-Language Models},
author = {Binesh Sadanandan and Vahid Behzadan},
journal= {arXiv preprint arXiv:2603.00148},
year = {2026}
}