MiM-ISTD：用于高效红外小目标检测的 Mamba-in-Mamba

近年来，得益于基础模型的发展，红外小目标检测（ISTD）取得了显著进展。具体而言，结合 CNN 与 Transformer 的模型能够成功提取局部和全局特征。然而，Transformer 的缺点也被继承下来，即相对于序列长度的二次计算复杂度。受近期具有线性复杂度的长距离建模基础模型 Mamba 的启发，本文从有效性和效率两方面探索了该状态空间模型在 ISTD 任务中的潜力。然而，由于对局部特征的利用不充分（而局部特征对于检测小目标至关重要），直接应用 Mamba 只能获得次优性能。为此，我们为高效的 ISTD 定制了一种嵌套结构，即 Mamba-in-Mamba（MiM-ISTD）。它由外部和内部 Mamba 块组成，以熟练地捕获全局和局部特征。具体而言，我们将局部图像块视为“视觉句子”，并使用外部 Mamba 探索全局信息。然后，我们将每个视觉句子分解为子图像块作为“视觉词”，并使用内部 Mamba 以可忽略的计算成本进一步探索视觉句子中词之间的局部信息。通过聚合视觉词和视觉句子特征，我们的 MiM-ISTD 能够有效探索全局和局部信息。在 NUAA-SIRST 和 IRSTD-1k 上的实验表明了该方法在精度和效率上的优越性。具体而言，MiM-ISTD 比 SOTA 方法快 $8 \times$，在 $2048 \times 2048$ 图像上进行测试时将 GPU 内存使用量减少了 62.2$\%$，克服了高分辨率红外图像上的计算和内存限制。