中文

回归事件本质:基于光度恒定性的事件相机图像重建自监督学习

计算机视觉与模式识别 2021-04-13 v2

摘要

事件相机是一种新颖的视觉传感器,以异步方式对亮度增量进行采样,具有低延迟和高时间分辨率。由此产生的事件流本身具有很高价值,特别是对于高速运动估计。然而,越来越多的工作也聚焦于从事件重建强度帧,因为这可以弥合与现有基于外观和基于帧的计算机视觉文献之间的差距。近期工作大多使用以合成、真实数据训练的神经网络来解决此问题。在本工作中,我们首次从自监督学习的角度探讨强度重建问题。我们的方法利用了事件相机内部工作机制的知识,结合估计的光流和基于事件的光度恒定性来训练神经网络,无需任何真实或合成数据。在多个数据集上的结果表明,所提出的自监督方法的性能与当前最优(SOTA)相当。此外,我们提出了一种新颖的轻量级光流估计神经网络,能够以极高的推理速度实现仅微小性能下降。

关键词

引用

@article{arxiv.2009.08283,
  title  = {Back to Event Basics: Self-Supervised Learning of Image Reconstruction for Event Cameras via Photometric Constancy},
  author = {F. Paredes-Vallés and G. C. H. E. de Croon},
  journal= {arXiv preprint arXiv:2009.08283},
  year   = {2021}
}

备注

9 pages, 6 figures, 5 tables