基于事件相机的无监督光流与强度联合学习
计算机视觉与模式识别
2025-07-23 v2 机器学习
图像与视频处理
摘要
事件相机依赖于运动来获取场景外观信息。这意味着外观和运动本质上是相互关联的：无论两者是否同时存在，都以事件数据形式被记录。以往的研究将恢复这两种视觉量的任务视为独立处理，这不符合事件相机的上述特性，忽略了它们之间固有的关系。我们提出了一个无监督学习框架，能够使用单个网络联合估计光流（运动）和图像强度（外观）。从数据生成模型出发，我们新推导了基于光流和图像强度的事件基于光度误差。该误差进一步结合对比度最大化框架，形成综合损失函数，为光流和强度估计提供适当的约束。详实的实验表明，我们的方法在性能上达到最先进水平：在光流估计方面，相较于无监督方法，EPE降低20%，AE降低25%，同时在高动态范围场景中也能提供具竞争力的强度估计结果。我们的 метод还实现了比所有其他光流方法以及许多图像重建方法更短的推理时间，而这些方法仅输出一种量。项目页面：https://github.com/tub-rip/E2FAI
引用
@article{arxiv.2503.17262,
title = {Unsupervised Joint Learning of Optical Flow and Intensity with Event Cameras},
author = {Shuang Guo and Friedhelm Hamann and Guillermo Gallego},
journal= {arXiv preprint arXiv:2503.17262},
year = {2025}
}
备注
13 pages, 8 figures, 9 tables. Project page: https://github.com/tub-rip/E2FAI . IEEE/CVF International Conference on Computer Vision (ICCV), 2025