DeepHS-HDRVideo:深度高速高动态范围视频重建
图像与视频处理
2022-10-11 v1 计算机视觉与模式识别
摘要
受硬件限制,标准商用数码相机输出低动态范围(LDR)和低帧率(FPS)的画面。先前的高动态范围(HDR)视频重建工作使用交替曝光的 LDR 帧序列作为输入,并基于光流网络对齐相邻帧。然而,这些方法在具有挑战性的场景中常产生运动伪影。这是因为,交替曝光帧必须进行曝光匹配才能应用基于光流的对齐,而 LDR 帧中的过饱和与噪声会导致对齐不准确。为此,我们提出使用预训练的视频帧插值网络来对齐输入的 LDR 帧。由于规避了易出错的曝光匹配步骤,并直接从相同曝光的输入生成中间缺失帧,该方法实现了更好的 LDR 帧对齐。此外,它通过递归插值中间帧,能够生成高帧率的 HDR 视频。通过本工作,我们提出将视频帧插值用于 HDR 视频重建,并给出首个生成高帧率 HDR 视频的方法。实验结果表明,所提框架相较基于光流的对齐方法具有更优效能,在标准 HDR 视频数据集 [1]、[2] 上 PSNR 值绝对提升 2.4,并进一步针对高帧率 HDR 视频生成对所提方法进行了基准测试。
引用
@article{arxiv.2210.04429,
title = {DeepHS-HDRVideo: Deep High Speed High Dynamic Range Video Reconstruction},
author = {Zeeshan Khan and Parth Shettiwar and Mukul Khanna and Shanmuganathan Raman},
journal= {arXiv preprint arXiv:2210.04429},
year = {2022}
}
备注
ICPR 2022