SDformerFlow：基于时空窗格浪纹状刺激变形器的事件型光流估计

事件相机生成异步且稀疏的事件流，捕捉光强变化，相较于传统帧式相机具有更高的动态范围和更快的数据速率，尤其适用于快速运动或恶劣光照条件的场景。脉冲神经网络（SNN）具有类似的异步稀疏特性，能够很好地处理来自事件相机的数据。鼓舞着变换器和脉冲驱动变换器（spikeformer）在计算机视觉任务中的潜力，我们提出了两个解决方案，用于事件相机的快速且稳健的光流估计：STTFlowNet和SDformerFlow。STTFlowNet采用具有时空移位窗格自注意力（swin）变换器编码器的U型人工神经网络（ANN）架构，而SDformerFlow则提出了其完全脉冲化版本，集成了时空窗格脉冲变换器编码器。此外，我们提供了两种不同神经元模型的脉冲化版本。我们的工作是首次将脉冲变换器应用于稠密光流估计。我们使用监督学习对所有模型进行端到端训练。实验结果在DSEC和MVSEC数据集上均实现了基于SNN的事件光流方法的状态机性能，并在与等效ANN相比方面显著降低了功耗。