通过事件学习观看：基于事件与 RGB 相机的彩色帧合成
计算机视觉与模式识别
2019-12-11 v2
摘要
事件相机是受生物启发的传感器，可采集场景的时间演化。它们捕获逐像素亮度变化并输出相应的异步事件流。尽管相对于传统相机具有多重优势，其使用因传统数据处理与视觉算法的有限适用性而受到部分阻碍。为此，我们提出一个框架，利用事件相机的输出流来合成 RGB 帧，依赖于初始或周期性的彩色关键帧集合以及中间事件序列。不同于已有工作，我们提出一种基于深度学习的帧合成方法，由对抗架构与循环模块组合而成。在四个公开数据集上的定性结果与逐像素、感知及语义的定量评估证实了合成图像的质量。
引用
@article{arxiv.1812.02041,
title = {Learn to See by Events: Color Frame Synthesis from Event and RGB Cameras},
author = {Stefano Pini and Guido Borghi and Roberto Vezzani},
journal= {arXiv preprint arXiv:1812.02041},
year = {2019}
}
备注
Accepted as full oral at the 15th International Conference on Computer Vision Theory and Applications (VISAPP) 2020