不确定性驱动的专家控制:增强医学视觉语言模型的可靠性
计算机视觉与模式识别
2025-07-15 v1
摘要
视觉语言模型(VLM)的快速发展推动了多模态医疗辅助系统的开发。尽管取得了这些进展,当前模型仍存在固有的概率不确定性,经常产生错误或未经证实的响应——这一问题在医疗应用中具有严重影响。现有方法旨在通过调整模型结构、使用高质量数据进行微调或偏好微调来增强医学视觉语言模型(MedVLM)的性能。然而,这些依赖训练的策略成本高昂,且仍缺乏与临床专业知识的充分对齐。为解决这些问题,我们提出了一种名为专家控制分类器自由引导(Expert-CFG)的专家在环框架,无需额外训练即可将MedVLM与临床专业知识对齐。该框架引入不确定性估计策略来识别不可靠的输出。然后检索相关参考资料以协助专家突出关键术语,并应用分类器自由引导来细化MedVLM的标记嵌入,确保调整后的输出正确且与专家重点一致。在三个医学视觉问答基准上的评估表明,所提出的Expert-CFG仅需4.2B参数和有限的专家标注,即可超越具有13B参数的最先进模型。结果表明,在资源受限环境中部署此类系统用于临床是可行的。
引用
@article{arxiv.2507.09209,
title = {Uncertainty-Driven Expert Control: Enhancing the Reliability of Medical Vision-Language Models},
author = {Xiao Liang and Di Wang and Zhicheng Jiao and Ronghan Li and Pengfei Yang and Quan Wang and Tat-Seng Chua},
journal= {arXiv preprint arXiv:2507.09209},
year = {2025}
}