MambaFlow：用于端到端光流估计的以 Mamba 为中心的架构
计算机视觉与模式识别
2025-08-19 v4
摘要
近期，Mamba 架构在分类和分割等各类计算机视觉任务中取得了显著成功。然而，其在光流估计中的应用仍有待探索。在本文中，我们引入了 MambaFlow，这是一种新颖的框架，旨在利用 Mamba 架构的高精度和高效性来捕获局部相关特征，同时在端到端光流估计中保留全局信息。据我们所知，MambaFlow 是首个专为光流估计量身定制的以 Mamba 设计为中心的架构。它包含两个关键组件：（1）PolyMamba，通过双 Mamba 架构增强特征表示，其中包含用于 token 内建模的 Self-Mamba 模块和用于跨模态交互的 Cross-Mamba 模块，从而实现深度上下文化与有效的特征融合；（2）PulseMamba，利用注意力引导聚合器（AGA）以动态学习的权重自适应地整合特征，而非简单的拼接，随后利用 Mamba 内在的循环机制进行自回归流解码，促进流信息的高效传播。大量实验表明，MambaFlow 在基准数据集上取得了与主流方法相当的显著结果。与 SEA-RAFT 相比，MambaFlow 在 Sintel 基准上获得了更高的精度，展现出在资源受限设备上进行实际部署的更强潜力。论文被接受后将公开源代码。
引用
@article{arxiv.2503.07046,
title = {MambaFlow: A Mamba-Centric Architecture for End-to-End Optical Flow Estimation},
author = {Juntian Du and Zhihu Zhou and Runzhe Zhang and Yuan Sun and Pinyi Chen and Keji Mao},
journal= {arXiv preprint arXiv:2503.07046},
year = {2025}
}