视频转事件：回收视频数据集用于事件相机
计算机视觉与模式识别
2020-04-02 v2
摘要
事件相机是新型传感器，以异步“事件”流而非强度帧的形式输出亮度变化。相较于传统相机，它们具有显著优势：高动态范围（HDR）、高时间分辨率以及无运动模糊。近来，作用于事件数据的新型学习方法取得了令人印象深刻的成果。然而，这些方法需要大量事件数据用于训练，而由于事件传感器在计算机视觉研究中的新颖性，此类数据难以获取。本文中，我们提出一种方法，通过将任何使用传统相机记录的现有视频数据集转换为合成事件数据来满足上述需求。这释放了 virtually 无限数量的现有视频数据集，用于训练为真实事件数据设计的网络。我们在两项相关视觉任务（即物体识别与语义分割）上评估了我们的方法，并表明在合成事件上训练的模型具有若干益处：(i) 它们能很好地泛化到真实事件数据，即使在标准相机图像模糊或过曝的场景下，也通过继承事件相机的卓越特性来实现；(ii) 它们可用于在真实数据上微调，从而在分类与语义分割上超越 SOTA。
引用
@article{arxiv.1912.03095,
title = {Video to Events: Recycling Video Datasets for Event Cameras},
author = {Daniel Gehrig and Mathias Gehrig and Javier Hidalgo-Carrió and Davide Scaramuzza},
journal= {arXiv preprint arXiv:1912.03095},
year = {2020}
}