V2CE:视频到连续事件流模拟器
计算机视觉与模式识别
2024-04-30 v2 人工智能
摘要
基于动态视觉传感器(DVS)的方案近来在计算机视觉多项任务中引发显著兴趣,在动态范围、时间分辨率和推理速度方面提供突出优势。然而,相较于 RGB 相机等主动像素传感器(APS)设备,DVS 作为相对新兴的视觉传感器,缺乏充足的带标注数据集。先前将 APS 数据转换为事件的工作常受限于诸如与真实事件的显著域偏移、缺乏量化验证以及时间轴内的分层等问题。本文中,我们从多角度提出一种新颖的视频到事件流转换方法,考量 DVS 的具体特性。一系列精心设计的损失函数显著提升了所生成事件体素的质量。我们还提出一种新颖的局部动态感知时间戳推断策略,以连续方式从事件体素中准确恢复事件时间戳,并消除时间分层问题。通过流水线各阶段量化指标的严格验证结果,确证我们的方法无可争议地成为当前最优(SOTA)。
引用
@article{arxiv.2309.08891,
title = {V2CE: Video to Continuous Events Simulator},
author = {Zhongyang Zhang and Shuyang Cui and Kaidong Chai and Haowen Yu and Subhasis Dasgupta and Upal Mahbub and Tauhidur Rahman},
journal= {arXiv preprint arXiv:2309.08891},
year = {2024}
}
备注
6 pages, 7 figures, IEEE International Conference on Robotics and Automation (ICRA) 2024