RadFormer：具有全局-局部注意力机制的可解释精准胆囊癌检测Transformer
计算机视觉与模式识别
2022-11-10 v1
摘要
我们提出一种新颖的深度神经网络架构，以学习用于医学图像分析的可解释表示。我们的架构生成感兴趣区域的全局注意力，随后通过局部注意力学习词袋风格的深度特征嵌入。全局与局部特征图使用现代Transformer架构进行组合，以从超声（USG）图像中高精度检测胆囊癌（GBC）。我们的实验表明，我们模型的检测精度甚至超过人类放射科医生，并主张其作为GBC诊断的第二阅片者使用。词袋嵌入使我们的模型可被探查，以生成与医学文献中报道一致的GBC检测可解释解释。我们展示了所提模型不仅有助于理解神经网络模型的决策，还有助于发现与GBC诊断相关的新视觉特征。源代码与模型将发布于 https://github.com/sbasu276/RadFormer
引用
@article{arxiv.2211.04793,
title = {RadFormer: Transformers with Global-Local Attention for Interpretable and Accurate Gallbladder Cancer Detection},
author = {Soumen Basu and Mayank Gupta and Pratyaksha Rana and Pankaj Gupta and Chetan Arora},
journal= {arXiv preprint arXiv:2211.04793},
year = {2022}
}
备注
To Appear in Elsevier Medical Image Analysis