EventMamba：利用状态空间模型增强基于事件的视频重建中的时空局部性
计算机视觉与模式识别
2025-04-02 v3
摘要
凭借强大的线性全局建模能力，Mamba 在计算机视觉领域表现出色。尽管取得了成功，现有的基于 Mamba 的视觉模型忽略了事件驱动任务的细微差别，尤其是在视频重建方面。基于事件的视频重建（Event-based video reconstruction, EBVR）要求空间平移不变性，并密切关注时空域中的局部事件关系。然而，传统的 Mamba 算法采用静态窗口划分和标准重塑扫描方法，导致局部连通性的显著损失。为了克服这些局限性，我们引入了 EventMamba——一种专为 EBVR 任务设计的模型。EventMamba 在空间域中引入随机窗口偏移（Random Window Offset, RWO），摆脱了限制性的固定划分。此外，它在时空域中采用了一种新的一致遍历序列化方法，在空间和时间上均保持了相邻事件的邻近性。这些增强使 EventMamba 能够保留 Mamba 强大的建模能力，同时显著保留了事件数据的时空局部性。在多个数据集上的全面测试表明，与基于 Transformer 的方法相比，EventMamba 显著增强了视频重建能力，在大幅提高计算速度的同时提供了更优的视觉质量。
引用
@article{arxiv.2503.19721,
title = {EventMamba: Enhancing Spatio-Temporal Locality with State Space Models for Event-Based Video Reconstruction},
author = {Chengjie Ge and Xueyang Fu and Peng He and Kunyu Wang and Chengzhi Cao and Zheng-Jun Zha},
journal= {arXiv preprint arXiv:2503.19721},
year = {2025}
}