注视引导类激活映射：在胸部 X 光分类中利用人类注意力调控网络注意力
图像与视频处理
2022-02-16 v1 计算机视觉与模式识别
摘要
眼动追踪技术可用性与精度的提升引发了心理学、神经科学以及近年计算机视觉与人工智能中注意力相关研究的关注。人工神经网络中的注意力机制已知可改善学习任务。然而，此前尚无研究将网络注意力与人类注意力结合。本文描述一种注视引导类激活映射（GG-CAM）方法，基于专家放射科医师的视觉注意力直接调控网络注意力的形成，用于胸部 X 光病理分类问题，该问题因图像间复杂且常细微的差异而具挑战性。GG-CAM 是一种轻量（调节学习过程仅需 个额外可训练参数）且通用的扩展，可轻松应用于大多数分类卷积神经网络（CNN）。完全训练后的 GG-CAM 改进 CNN 不需要以人类注意力作为输入。对比实验表明，两个带 GG-CAM 扩展的标准 CNN 实现了显著更优的分类性能。ResNet50 的中位数曲线下面积（AUC）指标从 提升至 。对于 EfficientNetv2 (s)，中位数 AUC 从 提升至 。GG-CAM 还带来更好的网络可解释性，有助于弱监督病理定位与分析。
引用
@article{arxiv.2202.07107,
title = {Gaze-Guided Class Activation Mapping: Leveraging Human Attention for Network Attention in Chest X-rays Classification},
author = {Hongzhi Zhu and Septimiu Salcudean and Robert Rohling},
journal= {arXiv preprint arXiv:2202.07107},
year = {2022}
}
备注
This manuscript was submitted to WACV 2022 on Aug. 18, 2021