EventHDR：从事件到高速 HDR 视频及超越
计算机视觉与模式识别
2024-09-26 v1
摘要
事件相机是创新的神经形态传感器，可异步捕捉场景动态。由于事件触发机制，与传统相机相比，此类相机记录事件流的响应延迟更短，强度灵敏度更高。基于这些特性，先前的工作尝试从事件重建高动态范围（HDR）视频，但要么遭受不真实的伪影，要么无法提供足够高的帧率。在本文中，我们提出了一种循环卷积神经网络，用于从事件序列重建高速 HDR 视频，并通过关键帧引导来防止由稀疏事件数据引起的潜在误差累积。此外，为了解决真实数据集严重受限的问题，我们开发了一种新的光学系统来收集一个包含配对的高速 HDR 视频和事件流的真实世界数据集，以促进该领域的未来研究。我们的数据集提供了第一个用于事件到 HDR 重建的真实配对数据集，避免了模拟策略可能带来的不准确性。实验结果表明，我们的方法可以生成高质量、高速的 HDR 视频。我们进一步探索了我们的工作在跨相机重建和下游计算机视觉任务中的潜力，包括 HDR 场景下的目标检测、全景分割、光流估计和单目深度估计。
引用
@article{arxiv.2409.17029,
title = {EventHDR: from Event to High-Speed HDR Videos and Beyond},
author = {Yunhao Zou and Ying Fu and Tsuyoshi Takatani and Yinqiang Zheng},
journal= {arXiv preprint arXiv:2409.17029},
year = {2024}
}
备注
TPAMI 2024