Samba+:基于更统一的 Mamba 框架的通用与准确显著物体检测
摘要
现有的显著物体检测(SOD)模型通常受限于卷积神经网络(CNN)有限的感受野以及 Transformer 的二次计算复杂度。最近出现的状态空间模型——Mamba 在在全局感受野和计算效率之间表现出巨大潜力。作为解决方案,我们提出 Saliency Mamba(Samba),这是一种纯 Mamba 架构,可灵活处理各种不同的 SOD 任务,包括 RGB/RGB-D/RGB-T SOD、video SOD(VSOD)、RGB-D VSOD 和 visible-depth-thermal SOD。具体而言,我们重新思考了 Mamba 用于 SOD 的扫描策略,引入 saliency-guided Mamba block(SGMB),该块 features a spatial neighborhood scanning(SNS)算法以 preserve salient 区域的 spatial continuity。还提出一种 context-aware upsampling(CAU)方法,以促进层次特征对齐和聚合,通过建模上下文依赖性。进一步一步,为避免类似以前 SOD 解决方案中出现的“task-specific”问题,我们开发 Samba+,该模型通过 multi-task joint manner 训练 Samba,实现更统一和 versatile 的模型。在 two crucial components that collaboratively tackle 挑战 encountered in input of arbitrary modalities and continual adaptation 中进行了研究。具体而言,hub-and-spoke graph attention(HGA)模块 facilitate adaptive cross-modal interactive fusion,modality-anchored continual learning(MACL)策略 alleviates inter-modal conflicts together with catastrophic forgetting。广泛的实验表明,Samba 在六个 SOD 任务中 22 个数据集上 individually outperforms existing methods,计算成本更低;而 Samba+ 通过 single trained versatile model 在这些任务和数据集上取得更优的成绩。额外结果进一步表明了 Samba 框架的潜力。
引用
@article{arxiv.2602.01593,
title = {Samba+: General and Accurate Salient Object Detection via A More Unified Mamba-based Framework},
author = {Wenzhuo Zhao and Keren Fu and Jiahao He and Xiaohong Liu and Qijun Zhao and Guangtao Zhai},
journal= {arXiv preprint arXiv:2602.01593},
year = {2026}
}