计算高效时代:医学图像分析中状态空间模型的全面综述
图像与视频处理
2024-06-06 v1 计算机视觉与模式识别
摘要
序列建模在各个领域都发挥着至关重要的作用,历史上循环神经网络是执行这些任务的主要方法。然而,Transformer的出现因其优越的性能改变了这一范式。基于这些进展,Transformer与CNN结合成为学习视觉表示的两个领先基础模型。然而,Transformer受限于其注意力机制的复杂度,而CNN缺乏全局感受野和动态权重分配。状态空间模型(SSM),特别是具有选择机制和硬件感知架构的\textit{\textbf{Mamba}}模型,最近在序列建模和视觉表示学习中引起了极大兴趣,通过提供无限上下文长度并在输入序列中保持线性复杂度的高效性,挑战了Transformer的主导地位。借助计算机视觉的进展,医学成像已进入Mamba模型的新纪元。为帮助研究人员应对这一浪潮,本综述旨在对医学成像中的Mamba模型进行百科全书式的回顾。具体而言,我们首先从全面的理论回顾开始,形成SSM的基础,包括Mamba架构及其在此背景下序列建模范式的替代方案。接下来,我们提供医学领域中Mamba模型的结构化分类,并基于其应用、成像模态和目标器官引入多样化的分类方案。最后,我们总结了关键挑战,讨论了SSM在医学领域的不同未来研究方向,并提出了几个满足该领域需求的方向。此外,我们已将本文讨论的研究及其开源实现整理到我们的GitHub仓库中。
引用
@article{arxiv.2406.03430,
title = {Computation-Efficient Era: A Comprehensive Survey of State Space Models in Medical Image Analysis},
author = {Moein Heidari and Sina Ghorbani Kolahi and Sanaz Karimijafarbigloo and Bobby Azad and Afshin Bozorgpour and Soheila Hatami and Reza Azad and Ali Diba and Ulas Bagci and Dorit Merhof and Ilker Hacihaliloglu},
journal= {arXiv preprint arXiv:2406.03430},
year = {2024}
}
备注
This is the first version of our survey, and the paper is currently under review