脉冲相机的光流估计
计算机视觉与模式识别
2022-04-05 v3
摘要
作为一种具有高时间分辨率的仿生传感器，脉冲相机在实际应用尤其是高速场景运动估计中具有巨大潜力。然而，由于数据模态不同，基于帧与基于事件的方法并不适用于脉冲相机的脉冲流。为此，我们提出 SCFlow，一种定制的深度学习流水线，用于从脉冲流估计高速场景中的光流。重要的是，引入了一种新颖的输入表示，可根据先验运动自适应地去除脉冲流中的运动模糊。此外，为训练 SCFlow，我们为脉冲相机合成两套光流数据，即 Spikingly Flying Things 与照片级真实高速运动，分别记为 SPIFT 与 PHM，对应于随机高速与精心设计的场景。实验结果表明，SCFlow 可从不同高速场景的脉冲流中预测光流。而且，SCFlow 在 \textbf{真实脉冲流} 上展现出良好的泛化性。代码与数据集见 https://github.com/Acnext/Optical-Flow-For-Spiking-Camera。
引用
@article{arxiv.2110.03916,
title = {Optical Flow Estimation for Spiking Camera},
author = {Liwen Hu and Rui Zhao and Ziluo Ding and Lei Ma and Boxin Shi and Ruiqin Xiong and Tiejun Huang},
journal= {arXiv preprint arXiv:2110.03916},
year = {2022}
}
备注
The first two authors contributed equally. Accepted to CVPR 2022