用于融合事件数据与 RGB 图像的多模态相机设置的定量评估
图像与视频处理
2023-11-06 v1
摘要
基于事件的相机(也称为硅视网膜)通过异步检测并报告强度的显著变化,有望彻底变革计算机视觉,其具有扩展动态范围、低延迟和低功耗的特点,可赋能从自动驾驶到长时间监控的广泛应用。作为一项新兴技术,同时配备基于帧的相机以利用两种技术优势的基于事件系统的公开数据集明显匮乏。本文通过静态相机对齐定量评估了用于将高分辨率 DVS 数据与 RGB 图像数据融合的多模态相机设置。该提议的设置旨在用于半自动 DVS 数据标注,结合了两只近期发布的 Prophesee EVK4 DVS 相机和一台全局快门 XIMEA MQ022CG-CM RGB 相机。对齐后,最先进的物体检测或分割网络通过将边界框或标注像素直接映射到对齐的事件来标注图像数据。为促进此过程,分析了多种基于时间的 DVS 数据同步方法,并评估了标定精度、相机对齐和镜头影响。实验结果表明了所提系统的优势:最佳同步方法产生小于 0.90px 的图像标定误差和 1.6px 的像素互相关偏差,而 8mm 焦距镜头能够在 350m 距离下从均匀背景中检测出尺寸为 30cm 的物体。
引用
@article{arxiv.2311.01881,
title = {Quantitative Evaluation of a Multi-Modal Camera Setup for Fusing Event Data with RGB Images},
author = {Julian Moosmann and Jakub Mandula and Philipp Mayer and Luca Benini and Michele Magno},
journal= {arXiv preprint arXiv:2311.01881},
year = {2023}
}