面向真实场景的 HDR 视频重建：大规模基准数据集与双阶段对齐网络
计算机视觉与模式识别
2024-05-02 v1
摘要
作为获取高动态范围（HDR）视频的重要且实际的方法，来自交替曝光序列的 HDR 视频重建仍受到较少关注，主要由于缺乏大规模真实世界数据集。现有方法大多在合成数据集上训练，在真实场景中表现不佳。本文为促进真实世界 HDR 视频重建的发展，提出了 Real-HDRV，一个大规模真实世界基准数据集，具有各种场景、多样运动模式和高质量标签。具体而言，我们的数据集包含 500 对 LDRs-HDRs 视频对，涵盖约 28,000 帧 LDR 帧和 4,000 个 HDR 标签，覆盖白天、夜晚、室内和户外场景。据我们所知，本数据集是目前最大的真实世界 HDR 视频重建数据集。相应地，我们提出了一个用于 HDR 视频重建的端到端网络，其中设计了一种新颖的双阶段策略，用于顺序执行对齐。具体而言，第一阶段通过自适应估计的全局偏移执行全局对齐，降低后续对齐的难度。第二阶段在特征层面以粗到细的方式使用自适应可分离卷积隐式地执行局部对齐。广泛实验表明：(1) 在真实场景中，训练本数据集的模型优于在合成数据集上训练的模型；(2) 我们的方法优于以往的最新方法。我们的模型在 https://github.com/yungsyu99/Real-HDRV 上可用。
引用
@article{arxiv.2405.00244,
title = {Towards Real-World HDR Video Reconstruction: A Large-Scale Benchmark Dataset and A Two-Stage Alignment Network},
author = {Yong Shu and Liquan Shen and Xiangyu Hu and Mengyao Li and Zihao Zhou},
journal= {arXiv preprint arXiv:2405.00244},
year = {2024}
}
备注
This paper has been accepted by CVPR 2024