挖掘注视信息用于对比学习以辅助计算机诊断

由于各种原因，获取大规模放射学报告对于医学图像而言可能很困难，这限制了对比预训练在医学图像领域的有效性，并凸显了对替代方法的需求。在本文中，我们提出将眼动追踪作为文本报告的替代方案，因为它可以在不干扰放射科医师常规诊断过程的情况下被动收集注视信号。通过追踪放射科医师在阅读和诊断医学图像时的注视，我们可以理解他们的视觉注意力和临床推理。当放射科医师对两张医学图像有相似的注视时，可能表明它们在诊断上具有语义相似性，因此在通过对比学习预训练计算机辅助诊断（CAD）网络时，这些图像应被视为正样本对。据此，我们引入了医学对比注视图像预训练（McGIP）作为对比学习框架的即插即用模块。McGIP利用放射科医师的注视来指导对比预训练。我们使用两种代表性医学图像和两种常见注视数据类型评估了我们的方法。实验结果证明了McGIP的实用性，表明其在各种临床场景和应用中具有很高的潜力。