MetaSeg：基于MetaFormer的全局上下文感知高效语义分割网络

除了Transformer之外，探索如何利用MetaFormer的能力也很重要，MetaFormer是Transformer性能提升的基础架构。先前的研究仅将其用于骨干网络。与先前研究不同，我们在语义分割任务中更广泛地探索了MetaFormer架构的能力。我们提出了一种强大的语义分割网络MetaSeg，它从骨干网络到解码器都利用了MetaFormer架构。我们的MetaSeg表明，MetaFormer架构在解码器和骨干网络中捕获有用上下文方面都发挥着重要作用。此外，最近的分割方法表明，使用基于CNN的骨干网络提取空间信息、使用解码器提取全局信息，比使用基于Transformer的骨干网络搭配基于CNN的解码器更有效。这促使我们采用基于MetaFormer块的CNN骨干网络，并设计我们的基于MetaFormer的解码器，该解码器由一种新颖的自注意力模块组成，用于捕获全局上下文。为了同时考虑全局上下文提取和自注意力的计算效率，我们提出了一种通道缩减注意力（Channel Reduction Attention, CRA）模块，该模块将查询和键的通道维度缩减为一维。通过这种方式，我们提出的MetaSeg在流行的语义分割和医学图像分割基准测试（包括ADE20K、Cityscapes、COCO-stuff和Synapse）上以更高的计算效率超越了先前最先进的方法。代码可在https://github.com/hyunwoo137/MetaSeg获取。