Gather-Scatter Mamba：通过高效状态空间模型加速传播
计算机视觉与模式识别
2025-10-02 v1 人工智能
摘要
状态空间模型（SSM）——最显著的是循环神经网络（RNN）——在序列建模中一直发挥着核心作用。尽管注意力机制如 Transformer 自此主导了由于其建模全局语境的能力，但其二次复杂度和有限的可扩展性使其在处理长序列时不太适用。视频超分辨率（VSR）方法传统上依赖循环架构在帧之间传递特征。然而，这类方法存在著名问题，包括梯度消失、缺乏并行性和推理速度慢。近期发展如 Mamba 等选择性 SSM 提供了有竞争力的替代方案：通过启用输入依赖的状态转换，Mamba 在保持强大远程建模能力的同时实现线性时间复杂度，缓解了上述问题。尽管如此，Mamba 单独使用仍难以捕获细粒度的空间依赖关系，其因其因果性质及缺乏显式上下文聚合而不足。为此，我们提出了一种混合架构，将移位窗口自注意力用于空间上下文聚合，与 Mamba 基于选择性扫描用于高效的时间传播相结合。此外，我们引入了 Gather-Scatter Mamba（GSM），一种一种对齐感知机制，在 Mamba 传播之前将特征向时间窗口内的中心锚框进行错位，在之后将其散布回来，有效减少遮挡伪影并确保聚合信息在所有帧之间有效重新分配。官方实现已提供：https://github.com/Ko-Lani/GSMamba。
引用
@article{arxiv.2510.00862,
title = {Gather-Scatter Mamba: Accelerating Propagation with Efficient State Space Model},
author = {Hyun-kyu Ko and Youbin Kim and Jihyeon Park and Dongheok Park and Gyeongjin Kang and Wonjun Cho and Hyung Yi and Eunbyung Park},
journal= {arXiv preprint arXiv:2510.00862},
year = {2025}
}
备注
Code: \url{https://github.com/Ko-Lani/GSMamba}