基于眼动追踪引导的双重交叉注意力深度多示例学习用于眼底疾病检测
图像与视频处理
2023-04-26 v1 计算机视觉与模式识别
机器学习
摘要
深度神经网络（DNNs）推动了眼底疾病计算机辅助诊断（CAD）系统的发展，帮助眼科医生降低漏诊与误诊率。然而，大多数 CAD 系统为数据驱动，缺乏对性能友好的医学先验知识。对此，我们通过利用眼科医生的眼动追踪信息，创新性地提出了一种人在回路（HITL）CAD 系统，其更高效且准确。具体而言，该 HITL CAD 系统基于多示例学习（MIL）实现，其中眼动追踪注视图有助于甄选与诊断相关的示例。此外，采用双重交叉注意力 MIL（DCAMIL）网络以抑制噪声示例的不良影响。同时，分别引入序列增强模块与域对抗模块来丰富并标准化训练包中的示例，从而增强方法的鲁棒性。我们在新构建的数据集（即 AMD-Gaze 与 DR-Gaze）上分别针对 AMD 与早期 DR 检测进行了对比实验。严谨实验证明了我们 HITL CAD 系统的可行性及所提 DCAMIL 的优越性，充分挖掘了眼科医生的眼动追踪信息。这些研究表明，医生的注视图作为医学先验知识，有潜力贡献于临床疾病的 CAD 系统。
引用
@article{arxiv.2304.12719,
title = {Eye tracking guided deep multiple instance learning with dual cross-attention for fundus disease detection},
author = {Hongyang Jiang and Jingqi Huang and Chen Tang and Xiaoqing Zhang and Mengdi Gao and Jiang Liu},
journal= {arXiv preprint arXiv:2304.12719},
year = {2023}
}
备注
10 pages, 9 figures