SparX：面向层级视觉Mamba和Transformer网络的稀疏跨层连接机制
计算机视觉与模式识别
2025-04-29 v2
摘要
由于动态状态空间模型(SSM)在捕获长程依赖方面具有线性时间计算复杂度，Mamba在NLP任务中展现了突出性能。这一发现激发了基于Mamba的视觉模型的快速发展，在视觉识别任务中取得了有前景的成果。然而，这些模型在通过特征聚合、交互和选择来实现跨层特征蒸馏方面尚不具备能力。此外，针对CNN或ViT设计的现有跨层特征聚合方法在Mamba模型中因计算成本高而不可行。因此，本文旨在为视觉骨干网络引入一种高效的跨层特征聚合机制。灵感来自人类视觉系统中的视网膜神经节细胞(RGCs)，我们提出了一种新的稀疏跨层连接机制，称为SparX，以有效提高跨层特征的交互和重用。具体而言，我们构建了两种不同的网络层：ganglion层和normal层。前者具有更高的连接性和复杂度，使其能够以输入依赖的方式实现多层特征聚合和交互。相比之下，后者具有更低的连接性和复杂度。通过交错这两种类型的层，我们设计了一种新的视觉骨干网络族，实现了稀疏跨层连接，在模型大小、计算成本、内存成本和精度之间实现了卓越的平衡。例如，SparX-Mamba-T在参数更少的情况下将VMamba-T的top-1准确率从82.5%提高到83.5%，而SparX-Swin-T则将Swin-T的top-1准确率提高了1.3%。广泛的实验结果表明，我们新的连接机制在各种视觉任务上具备卓越的性能和泛化能力。
引用
@article{arxiv.2409.09649,
title = {SparX: A Sparse Cross-Layer Connection Mechanism for Hierarchical Vision Mamba and Transformer Networks},
author = {Meng Lou and Yunxiang Fu and Yizhou Yu},
journal= {arXiv preprint arXiv:2409.09649},
year = {2025}
}
备注
Accepted by AAAI 2025. Code is available at https://github.com/LMMMEng/SparX