从放射科医师注视中学习更优对比视图
计算机视觉与模式识别
2023-05-16 v1
摘要
近期的自监督对比学习方法极大受益于旨在缩小正样本对距离的双生（Siamese）结构。这些方法通常对输入图像施加随机数据增强，期望同一图像增强后的视图相似并被正配对。然而，随机增强可能忽略图像语义信息，降低对比学习中增强视图的质量。该问题在医学图像中更具挑战性，因为与疾病相关的异常可能极为微小，在当前随机增强方案下易被损坏（例如被裁剪掉）。本文中，我们首先证明，对于广泛使用的 X 射线图像，对比预训练中常规的增强会影响下游诊断或分类任务性能。随后，我们提出一种新颖的增强方法，即 FocusContrast，从放射科医师诊断时的注视中学习，并在其视觉注意力引导下为医学图像生成对比视图。具体而言，我们追踪放射科医师的注视运动，并建模其阅读诊断 X 射线图像时的视觉注意力。所学模型可在给定新输入图像时预测放射科医师的视觉注意力，进而引导几乎不会忽略疾病相关异常的注意力感知增强。作为一个即插即用且与框架无关的模块，FocusContrast 在膝关节 X 射线数据集上使 SimCLR、MoCo 和 BYOL 等最先进对比学习方法的分类准确率一致提升 4.0~7.0%。
引用
@article{arxiv.2305.08826,
title = {Learning Better Contrastive View from Radiologist's Gaze},
author = {Sheng Wang and Zixu Zhuang and Xi Ouyang and Lichi Zhang and Zheren Li and Chong Ma and Tianming Liu and Dinggang Shen and Qian Wang},
journal= {arXiv preprint arXiv:2305.08826},
year = {2023}
}