透过专家之眼：基于放射科医生视线和推理训练的基础性视觉语言模型
摘要
大规模视觉语言模型在自动化胸X线解读方面显示出前景，但其临床实用性仍受限于model outputs与放射科医生推理之间的鸿沟。大多数系统针对语义信息进行优化，而不模仿专家如何视觉检查医学图像，常常忽视关键发现或与既定的诊断工作流程相背离。放射科医生遵循结构化协议(例如ABCDEF方法)，以确保系统检查所有临床相关区域，减少漏诊并支持可靠的诊断推理。我们介绍GazeX，一种视觉语言模型，利用放射科医生的eye tracking数据作为behavioral prior来model expert diagnostic reasoning。通过整合gaze trajectories和fixation patterns到pretraining中，GazeX学习遵循放射科医生注意力的空间和时间结构，并以临床上有意义的序列整合观察。使用来自五位放射科医生的精选数据集(超过30,000个gaze keyframes)，我们展示GazeX在radiology report generation、disease grounding和visual question answering中产生更准确、更可解释且更符合专家一致的输出，利用231,835项放射学研究、780,014个question answer pairs和1,162个image sentence pairs带边界框。与自主报告系统不同，GazeX产生可验证的evidence artifacts，包括inspection trajectories和finding linked localized regions，enable efficient human verification和safe human AI collaboration。Learning through expert eyes为放射学及更广泛的应用提供了一条更可信、更易解释且更具诊断鲁棒性的AI系统之路。
引用
@article{arxiv.2604.14316,
title = {Seeing Through Experts Eyes A Foundational Vision Language Model Trained on Radiologists Gaze and Reasoning},
author = {Kinhei Lee and Peiyuan Jing and Zhenxuan Zhang and Yue Yang and Tao Wang and Dominic C Marshall and Yingying Fang and Guang Yang},
journal= {arXiv preprint arXiv:2604.14316},
year = {2026}
}