基于事件的动态场景高动态范围成像
计算机视觉与模式识别
2024-04-05 v1 图像与视频处理
摘要
真实世界动态场景的高动态范围成像 (HDRI) 具有挑战性,因为移动的物体可能导致低动态范围和运动模糊的混合退化。现有的基于事件的方法仅关注单独的任务,而将 HDRI 和运动去模糊级联会导致次优解,且不可用的真实清晰 HDR 图像加剧了这一困境。为了应对这些挑战,我们在自监督学习范式内提出了一种基于事件的 HDRI 框架,即 Self-EHDRI,该框架在真实世界的动态场景中泛化了 HDRI 性能。具体而言,通过学习从模糊 LDR 图像到清晰 LDR 图像的跨域转换来实施自监督学习策略,这使得即使缺失真实清晰 HDR 图像,也能在中间过程中获取清晰 HDR 图像。然后,我们构建了基于事件的 HDRI 和运动去模糊模型,并构建了一个统一网络来恢复中间清晰 HDR 结果,其中同时利用了事件的高动态范围和高时间分辨率进行补偿。我们构建了大规模合成和真实世界数据集以评估我们方法的有效性。综合实验表明,所提出的 Self-EHDRI 大幅优于最先进的方法。代码、数据集和结果可在 https://lxp-whu.github.io/Self-EHDRI 获取。
引用
@article{arxiv.2404.03210,
title = {HDR Imaging for Dynamic Scenes with Events},
author = {Li Xiaopeng and Zeng Zhaoyuan and Fan Cien and Zhao Chen and Deng Lei and Yu Lei},
journal= {arXiv preprint arXiv:2404.03210},
year = {2024}
}