面向少样本分割的混合Mamba网络
计算机视觉与模式识别
2024-10-01 v1
摘要
许多少样本分割（FSS）方法无论其二次复杂度如何，都使用跨注意力来融合支持前景（FG）到查询特征中。而最近出现的Mamba能够很好地捕获序列内依赖，复杂度仅为线性。因此，我们旨在构建一种跨（类似注意力）Mamba来捕获序列间依赖。其核心思想是扫描支持特征以选择性地压缩它们到隐藏状态中，然后用作顺序扫描查询特征的初始隐藏状态。然而，这种方法存在两个问题：（1）支持遗忘问题：当扫描查询特征时，它们也会逐渐被压缩，因此隐藏状态中的支持特征持续减少，许多查询像素无法获得足够的支持特征；（2）类内间隙问题：查询前景本质上更类似于自身而非支持前景，即查询可能倾向于融合来自隐藏状态的自身特征，而非支持特征，然而FSS的成功依赖于有效利用支持信息。为此，我们设计了混合Mamba网络（HMNet），包括（1）支持回顾Mamba，用于在扫描查询时定期回顾支持特征，以确保隐藏状态始终包含丰富的支持信息；（2）查询截获Mamba，用于禁止查询像素之间的相互作用，并鼓励它们更多地融合来自隐藏状态的支持特征。因此，更好地利用了支持信息，从而实现更好的性能。在两个公开基准测试上进行了大量实验，显示出HMNet的优势。代码已公开于 https://github.com/Sam1224/HMNet。
引用
@article{arxiv.2409.19613,
title = {Hybrid Mamba for Few-Shot Segmentation},
author = {Qianxiong Xu and Xuanyi Liu and Lanyun Zhu and Guosheng Lin and Cheng Long and Ziyue Li and Rui Zhao},
journal= {arXiv preprint arXiv:2409.19613},
year = {2024}
}
备注
This paper is accepted by NIPS'24