基于事件相机的动态场景12-stop HDR成像
计算机视觉与模式识别
2024-12-20 v1
摘要
高动态范围(HDR)成像是计算摄影中的关键任务，能够捕捉不同光照条件下的细节。传统HDR融合方法在存在极端曝光差异的动态场景中面临局限，因为由于运动和亮度变化，对低动态范围(LDR)帧的对齐变得困难。本文提出一种 novel 12-stop HDR成像方法，用于动态场景，利用事件相机和RGB相机的双相机系统。事件相机提供时序稠密的高动态范围信号，以提高LDR帧之间大曝光差异的对齐，减少由运动引起的幽灵效应。此外，提出一种真实世界微调策略以增加对齐模块在真实事件上的泛化性。我们还引入基于扩散的融合模块，利用来自预训练扩散模型的图像先验来解决高对比度区域中的artifacts，并最小化来自对齐过程的误差。为支持本工作，我们开发了 ESHDR 数据集，这是第一个包含同步事件信号的12-stop HDR数据集。我们在模拟数据和真实数据上验证了方法。广泛的实验表明，我们的方法实现了最先进的性能，成功将HDR成像扩展到动态场景中的12个stop。
引用
@article{arxiv.2412.14705,
title = {Event-assisted 12-stop HDR Imaging of Dynamic Scene},
author = {Shi Guo and Zixuan Chen and Ziran Zhang and Yutian Chen and Gangwei Xu and Tianfan Xue},
journal= {arXiv preprint arXiv:2412.14705},
year = {2024}
}
备注
Project page: https://openimaginglab.github.io/Event-Assisted-12stops-HDR/