用于事件相机光流的扰动状态空间特征编码器
计算机视觉与模式识别
2025-04-16 v1 机器学习
摘要
凭借其响应运动的特性，基于事件的相机在光流估计方面比传统相机具有显著优势。尽管深度学习改进了传统方法，但目前用于基于事件的光流的神经网络仍面临时空推理的局限性。为了应对这些挑战，我们提出了用于事件相机多帧光流的扰动状态空间特征编码器 (P-SSE)。P-SSE 类似于基于 Transformer 的方法，自适应地处理具有大感受野的时空特征，同时保持 SSM 特有的线性计算复杂度。然而，使我们模型实现 SOTA 性能的关键创新在于应用于控制 SSM 系统的状态动力学矩阵的扰动技术。该方法显著提升了我们模型的稳定性和性能。我们将 P-SSE 集成到一个利用双向流和循环连接的框架中，扩展了光流预测的时间上下文。在 DSEC-Flow 和 MVSEC 数据集上的评估展示了 P-SSE 的优越性，其 EPE 性能分别提升了 8.48% 和 11.86%。
引用
@article{arxiv.2504.10669,
title = {Perturbed State Space Feature Encoders for Optical Flow with Event Cameras},
author = {Gokul Raju Govinda Raju and Nikola Zubić and Marco Cannici and Davide Scaramuzza},
journal= {arXiv preprint arXiv:2504.10669},
year = {2025}
}
备注
10 pages, 4 figures, 4 tables. Equal contribution by Gokul Raju Govinda Raju and Nikola Zubi\'c