面向缓解医学图像中捷径学习的注视引导视觉图神经网络
计算机视觉与模式识别
2024-07-31 v2
摘要
深度神经网络在医学图像分析中展现出卓越的性能。然而，其对虚假关联的脆弱性——由于捷径学习——引发了可解释性和可靠性的顾虑。此外，医学情境下的捷径学习问题尤为突出，因为疾病指标往往微弱且稀疏。本文提出一种新型方法——注视引导视觉图神经网络（gaze-directed Vision GNN, 简称 GD-ViG），以利用放射科医生的注视图案作为专家知识，将网络引导 toward疾病相关区域，从而缓解捷径学习。GD-ViG由注视图生成器（gaze map generator, GMG）和注视引导分类器（gaze-directed classifier, GDC）组成。通过融合图神经网络的全局建模能力与卷积神经网络的局部性，GMG基于放射科医生的视觉模式生成注视图。值得注意的是，无需在推理阶段使用真实注视数据，即可提升网络的实际应用性。利用注视作为专家知识，GDC通过融合特征距离和注视距离来构建图结构，使网络能够聚焦于疾病相关的前景区域，从而避免捷径学习并提高网络的可解释性。在两个公开医学图像数据集上的实验表明，GD-ViG超越了当前最先进的方法，有效缓解了捷径学习。我们的代码已公开：https://github.com/SX-SS/GD-ViG。
引用
@article{arxiv.2406.14050,
title = {Gaze-directed Vision GNN for Mitigating Shortcut Learning in Medical Image},
author = {Shaoxuan Wu and Xiao Zhang and Bin Wang and Zhuo Jin and Hansheng Li and Jun Feng},
journal= {arXiv preprint arXiv:2406.14050},
year = {2024}
}