GazeGNN：用于胸部 X 光分类的注视引导图神经网络
计算机视觉与模式识别
2023-08-31 v3
摘要
眼动追踪研究在计算机视觉中十分重要，因其有助于理解人类如何与视觉世界交互。尤其对于高风险应用（如医学影像），眼动追踪可帮助我们理解放射科医生及其他医疗专业人员如何为诊断与临床目的搜索、分析和解读图像。因此，眼动追踪技术在疾病分类中的应用近年愈发流行。当代工作通常将眼动追踪设备采集的注视信息转换为视觉注意力图（VAMs）以监督学习过程。然而，这是耗时的预处理步骤，阻碍我们将眼动追踪应用于放射科医生的日常工作。为解决此问题，我们提出一种新颖的注视引导图神经网络（GNN）——GazeGNN，以利用原始眼动数据而无需转换为 VAMs。在 GazeGNN 中，为直接将眼动集成至图像分类，我们构建统一表示图，对图像与注视模式信息一并建模。借此优势，我们在文献中首次开发了实时、真实场景、端到端的疾病分类算法。该成就展示了将实时眼动追踪技术集成至放射科医生日常工作的实用性与可行性。据我们所知，GazeGNN 是首个采用 GNN 集成图像与眼动数据的 work。我们在公开胸部 X 光数据集上的实验表明，相较现有方法，我们提出的方法展现出最佳分类性能。代码可见于 https://github.com/ukaukaaaa/GazeGNN。
引用
@article{arxiv.2305.18221,
title = {GazeGNN: A Gaze-Guided Graph Neural Network for Chest X-ray Classification},
author = {Bin Wang and Hongyi Pan and Armstrong Aboah and Zheyuan Zhang and Elif Keles and Drew Torigian and Baris Turkbey and Elizabeth Krupinski and Jayaram Udupa and Ulas Bagci},
journal= {arXiv preprint arXiv:2305.18221},
year = {2023}
}
备注
WACV 2024