RadioTransformer：一种用于视觉注意力引导疾病分类的级联全局-局部Transformer
计算机视觉与模式识别
2022-07-25 v2
摘要
在本工作中，我们提出 RadioTransformer，一种新颖的视觉注意力驱动 Transformer 框架，其利用放射科医生的注视模式并对他们在胸部 X 光片上的疾病诊断中的视觉认知行为进行建模。领域专家（如放射科医生）依赖视觉信息进行医学图像解读。另一方面，深度神经网络即使在视觉解读具有挑战性的类似任务中也已展现出显著潜力。眼动追踪已被用于捕捉领域专家的观看行为，从而揭示视觉搜索的复杂性。然而，深度学习框架，即便是那些依赖注意力机制的框架，也未能利用这一丰富的领域信息。RadioTransformer 通过在级联全局-局部 Transformer 框架中学习放射科医生的视觉搜索模式（编码为“人类视觉注意力区域”）填补了这一关键空白。所提出的全局模块与局部模块分别捕捉整体的“全局”图像特征与更细致的“局部”特征。我们在涉及不同疾病分类任务的 8 个数据集上实验验证了我们的师生方法的有效性，其中在推理阶段并无眼动数据可用。代码：https://github.com/bmi-imaginelab/radiotransformer。
引用
@article{arxiv.2202.11781,
title = {RadioTransformer: A Cascaded Global-Focal Transformer for Visual Attention-guided Disease Classification},
author = {Moinak Bhattacharya and Shubham Jain and Prateek Prasanna},
journal= {arXiv preprint arXiv:2202.11781},
year = {2022}
}