DA-Mamba: 基于域自适应混合 Mamba-Transformer 的单阶段目标检测
计算机视觉与模式识别
2025-05-08 v2
摘要
近期基于二维 CNN 的域自适应方法因感受野有限而难以处理长程依赖关系，因此难以适应具有显著空间分布变化的目标域。虽然基于 Transformer 的域自适应方法通过自注意力机制更好地捕捉远距离关系，从而促进更有效的跨域特征对齐，但其二次计算复杂度使得在跨域目标检测任务中的实际部署面临挑战。借鉴 Mamba 架构的全局建模能力和线性计算复杂度，我们提出了首个基于 Mamba 的域自适应单阶段目标检测模型 DA-Mamba。具体而言，我们将 Mamba 的高效状态空间建模与注意力机制相结合，以解决域特定的空间和通道变化。我们的设计利用 Mamba 模块中的域自适应空间和通道扫描来提取高可迁移表示以实现高效顺序处理，而交叉注意力模块生成长程混合域空间特征以实现稳健的跨域软对齐。此外，受混合架构在域自适应任务中引入特征噪声的观察启发，我们提出了一种基于熵的知识蒸馏框架，结合边界 ReLU，通过抑制无关激活并对齐源域和目标域之间的不确定性来自适应地细化多层表示。最后，为防止交叉注意力机制生成的混合特征导致的过拟合，我们提出熵驱动门控注意力结合随机扰动，在细化目标特征的同时增强模型泛化能力。
引用
@article{arxiv.2502.11178,
title = {DA-Mamba: Domain Adaptive Hybrid Mamba-Transformer Based One-Stage Object Detection},
author = {A. Enes Doruk and Hasan F. Ates},
journal= {arXiv preprint arXiv:2502.11178},
year = {2025}
}