ADV2E：弥合视频到事件仿真器中模拟电路与离散帧之间的差距
计算机视觉与模式识别
2024-11-20 v1 机器人学
摘要
事件相机的工作原理与传统有源像素传感器 (APS) 相机存在根本差异，并具有显著优势。近期研究开发了将视频帧转换为事件的仿真器，以解决真实事件数据集短缺的问题。当前仿真器主要关注事件相机的逻辑行为。然而，像素电路的基本模拟特性在仿真器设计中很少被考虑。模拟像素电路与离散视频帧之间的差距导致合成事件退化，特别是在高对比度场景中。在本文中，我们基于对事件相机像素电路的详细分析，提出了一种生成可靠事件数据的新方法。我们将事件相机像素电路的模拟特性纳入仿真器设计：(1) 对从光强度到事件的信号进行模拟滤波，以及 (2) 截止频率独立于视频帧率。在包括语义分割和图像重建在内的两个相关任务上的实验结果验证了模拟事件数据的可靠性，即使在高对比度场景中也是如此。这表明深度神经网络从模拟事件数据到真实事件数据展现出强大的泛化能力，证实了所提出方法生成的合成事件既逼真又适合用于有效训练。
引用
@article{arxiv.2411.12250,
title = {ADV2E: Bridging the Gap Between Analogue Circuit and Discrete Frames in the Video-to-Events Simulator},
author = {Xiao Jiang and Fei Zhou and Jiongzhi Lin},
journal= {arXiv preprint arXiv:2411.12250},
year = {2024}
}
备注
10 pages, 6 figures