一种面向事件-帧混合相机的异步线性滤波架构
计算机视觉与模式识别
2024-09-02 v2
摘要
事件相机非常适合在无模糊情况下捕获高动态范围（HDR）视觉信息，但对静态或缓慢变化场景的成像能力较差。相反，传统图像传感器能有效测量缓慢变化场景的绝对强度，但在 HDR 或快速变化场景上表现不佳。本文中，我们提出一种融合事件相机与帧相机数据的异步线性滤波架构，用于 HDR 视频重建与空间卷积，以发挥两种传感器模态的优势。其核心思想是引入一种状态，直接编码积分或卷积后的图像信息，并随着相机传来的每个事件或每帧而异步更新。该状态可按需随时读取，以馈入后续视觉模块用于实时机器人系统。我们的实验结果在具有挑战性光照与快速运动的公开数据集，以及我们提供的一个带 HDR 参考的新数据集上进行了评估。所提出的 AKF 流水线在绝对强度误差（降低 69.4%）与图像相似度指标（平均提升 35.5%）上均优于其他最先进方法。我们还展示了将高斯、Sobel 与拉普拉斯线性空间核的图像卷积作为我们架构应用的集成。
引用
@article{arxiv.2309.01159,
title = {An Asynchronous Linear Filter Architecture for Hybrid Event-Frame Cameras},
author = {Ziwei Wang and Yonhon Ng and Cedric Scheerlinck and Robert Mahony},
journal= {arXiv preprint arXiv:2309.01159},
year = {2024}
}
备注
17 pages, 10 figures. Date of Publication: 04 September 2023