SwInception -- 局部注意力融合卷积

稀疏视觉变换器因其作为医学体数据分割的高效编码器而日益受到关注，其中 Swin 作为一种突出选择。Swin 使用局部注意力以降低复杂度，在许多任务上表现出色，但仍倾向于在小数据集上过拟合。为缓解这一弱点，我们提出一种新型架构，通过在前馈层中引入 Inception 块来进一步增强 Swin 的归纳偏置。这种多分支卷积的引入使 transformer 块内能够更直接地对局部、多尺度特征进行推理。我们还修改了解码器层，以便使用更少的参数捕获更细致的细节。通过大量实验，我们在十一个不同的医学数据集上实现了性能提升。我们特别展示了在 Medical Segmentation Decathlon 和 Beyond the Cranial Vault 等基准挑战中相对于前一代最佳主干网络的突破。通过表明现有 Swin 的归纳偏置可以进一步改进，我们的工作为增强稀疏视觉变换器在医学和自然图像分割任务中的能力提供了一条有前景的道路。代码和预训练权重可在 https://github.com/Eiphodos/SwInception 获取。