医学影像中的Transformer:综述
图像与视频处理
2022-01-25 v1 计算机视觉与模式识别
摘要
继在自然语言任务上取得空前成功后,Transformer 已被成功应用于多个计算机视觉问题,取得了最先进的结果,并促使研究人员重新审视卷积神经网络 (CNN) 作为事实标准算子的至高地位。借助计算机视觉领域的这些进展,医学影像领域也见证了人们对 Transformer 日益增长的兴趣,因为与具有局部感受野的 CNN 相比,Transformer 能够捕获全局上下文。受此转变启发,在本综述中,我们试图全面回顾 Transformer 在医学影像中的应用,涵盖从近期提出的架构设计到未解决问题的各个方面。具体而言,我们综述了 Transformer 在医学图像分割、检测、分类、重建、合成、配准、临床报告生成及其他任务中的应用。特别是,针对每一种应用,我们建立了分类法,识别了应用特定的挑战并提供解决这些挑战的见解,并突出了近期趋势。此外,我们对整个领域的当前状态进行了批判性讨论,包括识别关键挑战、开放问题,并概述了有前景的未来方向。我们希望本综述能激发社区进一步兴趣,并为研究人员提供关于 Transformer 模型在医学影像中应用的最新参考。最后,为应对该领域的快速发展,我们打算定期在 \url{https://github.com/fahadshamshad/awesome-transformers-in-medical-imaging} 更新相关最新论文及其开源实现。
引用
@article{arxiv.2201.09873,
title = {Transformers in Medical Imaging: A Survey},
author = {Fahad Shamshad and Salman Khan and Syed Waqas Zamir and Muhammad Haris Khan and Munawar Hayat and Fahad Shahbaz Khan and Huazhu Fu},
journal= {arXiv preprint arXiv:2201.09873},
year = {2022}
}
备注
41 pages, \url{https://github.com/fahadshamshad/awesome-transformers-in-medical-imaging}