利用人类选择性注意机制在有限训练数据下进行医学图像分析
计算机视觉与模式识别
2021-12-03 v1 图像与视频处理
摘要
人类注视是一种具有高性价比的生理数据，能够揭示人类潜在的注意模式。选择性注意机制通过忽略干扰物的存在，帮助认知系统聚焦于与任务相关的视觉线索。得益于这一能力，人类能够从极少量的训练样本中高效学习。受该机制启发，我们旨在利用注视数据来处理训练数据较少的医学图像分析任务。我们提出的框架包含一个骨干编码器和模拟潜在注意机制的选择性注意网络（SAN）。SAN 通过估计真实人类注视，隐式编码与医学诊断任务相关的可疑区域等信息。随后我们设计了一种新颖的辅助注意模块（AAB），使骨干编码器能够利用来自 SAN 的信息聚焦于选择性区域。具体而言，该模块使用改进版的多头注意力层来模拟人类视觉搜索过程。需注意，SAN 和 AAB 可插入不同的骨干网络，且该框架在配备任务特定头后可应用于多种医学图像分析任务。我们的方法在 3D 肿瘤分割和 2D 胸部 X 光分类任务上均展现出优越性能。我们还表明，SAN 估计的注视概率图与 board-certified 医生获取的真实注视 fixation 图一致。
引用
@article{arxiv.2112.01034,
title = {Leveraging Human Selective Attention for Medical Image Analysis with Limited Training Data},
author = {Yifei Huang and Xiaoxiao Li and Lijin Yang and Lin Gu and Yingying Zhu and Hirofumi Seo and Qiuming Meng and Tatsuya Harada and Yoichi Sato},
journal= {arXiv preprint arXiv:2112.01034},
year = {2021}
}
备注
BMVC 2021