中文

面向胸部 X 光分析的推理视觉语言模型

计算机视觉与模式识别 2025-10-31 v2

摘要

视觉语言模型(VLM)在医学图像分析中显示出巨大的潜力,但大多数模型仍不透明,仅提供预测,而不像临床医生那样提供透明、逐步的推理过程。我们提出一种框架,将链路思维(CoT)推理引入胸部 X 光解读。灵感来自以推理为主的训练范式,我们的方法旨在学习专家如何推理,而不仅仅是他们的结论,通过将中间步骤与可观察的图像证据和放射学工作流程对齐。除了准确率外,显式的推理痕迹支持临床审计:它们揭示了为何得出该结论、考虑了哪些备选方案以及不确定性在何处,从而支持质量保证、错误分析以及更安全的人机协作。我们的模型将高保真视觉编码与两个阶段的训练配方结合起来:推理风格的监督微调(SFT) followed by 强化学习(RL),后者使用一组 X 光异常值的可验证奖励。模型输出的推理模仿放射科医生的系统性思考过程、不确定性和鉴别诊断。在分布外评估中,该方法在保持竞争性的多标签分类准确率的同时,提高了可解释性。在一位专家放射科医生的读者研究中,完整的推理痕迹提高了信心,支持错误审计,并缩短了确定报告的时间。我们发布代码和模型 NV-Reason-CXR-3B,以支持社区在胸腔 X 光和其他需要推理质量与预测质量同样关键的医学影像任务中可信、可解释 AI 的进展。

关键词

引用

@article{arxiv.2510.23968,
  title  = {Reasoning Visual Language Model for Chest X-Ray Analysis},
  author = {Andriy Myronenko and Dong Yang and Baris Turkbey and Mariam Aboian and Sena Azamat and Esra Akcicek and Hongxu Yin and Pavlo Molchanov and Marc Edgar and Yufan He and Pengfei Guo and Yucheng Tang and Daguang Xu},
  journal= {arXiv preprint arXiv:2510.23968},
  year   = {2025}
}

备注

NV-Reason-CXR-3B