Factorizer：一种可扩展可解释的医疗图像分割上下文建模方法

具有 U 形架构的卷积神经网络(CNNs)在医疗图像分割中占据主导地位，而后者对各种临床目的至关重要。然而，卷积的固有局部性使 CNNs 无法充分利用全局上下文，而这对于更好地识别某些结构（例如脑损伤）是必不可少的。Transformers 最近在视觉任务（包括语义分割）上证明了有前景的性能，主要归因于其建模长程依赖的能力。尽管如此，注意力的二次复杂度使得现有基于 Transformer 的模型仅在某种程度降低图像分辨率后才使用自注意力层，这限制了捕获更高分辨率下存在的全局上下文的能力。因此，本工作引入了一系列称为 Factorizer 的模型，其利用低秩矩阵分解的能力来构建端到端分割模型。具体而言，我们提出了一种线性可扩展的上下文建模方法，将非负矩阵分解(NMF)表述为集成到 U 形架构中的可微分层。偏移窗口技术也与 NMF 结合使用以有效聚合局部信息。Factorizers 在准确性、可扩展性和可解释性方面与 CNNs 和 Transformers 相比具有竞争力，在用于脑肿瘤分割的 BraTS 数据集和用于卒中病灶分割的 ISLES'22 数据集上取得了最先进的结果。高度有意义的 NMF 分量使 Factorizers 相对于 CNNs 和 Transformers 具有额外的可解释性优势。此外，我们的消融研究揭示了 Factorizers 的一个独特特征，可在无任何额外步骤且不牺牲太多精度的情况下显著加速已训练 Factorizer 的推理。代码和模型公开于 https://github.com/pashtari/factorizer。