迈向真实世界 HDRTV 重建：一种基于数据合成的方法
计算机视觉与模式识别
2022-11-08 v1 图像与视频处理
摘要
现有基于深度学习的 HDRTV 重建方法假设一种色调映射算子（TMO）作为退化过程，以合成 SDRTV-HDRTV 对用于监督训练。在本文中，我们认为，尽管传统 TMO 利用了高效的动态范围压缩先验，但其在建模真实退化方面存在若干缺陷：信息过度保留、色彩偏差及可能伪影，使得训练出的重建网络难以很好地泛化到真实世界情形。为解决此问题，我们提出一种基于学习的数据合成方法，通过将若干色调映射先验整合进网络结构与损失函数中，来学习真实世界 SDRTV 的特性。具体而言，我们设计了一个以先验色调映射结果作为引导的条件双流网络，通过全局与局部变换合成 SDRTV。为训练该数据合成网络，我们构建了一种新颖的自监督内容损失，以在不同亮度分布区域约束合成 SDRTV 的不同方面，以及一种对抗损失以强调细节更真实。为验证我们方法的有效性，我们用该方法合成 SDRTV-HDRTV 对并用以训练若干 HDRTV 重建网络。随后我们收集了两个分别包含有标注与无标注真实世界 SDRTV 的推理数据集。实验结果表明，用我们合成数据训练的网络相比现有方案显著更好地泛化到这两个真实世界数据集。
引用
@article{arxiv.2211.03058,
title = {Towards Real World HDRTV Reconstruction: A Data Synthesis-based Approach},
author = {Zhen Cheng and Tao Wang and Yong Li and Fenglong Song and Chang Chen and Zhiwei Xiong},
journal= {arXiv preprint arXiv:2211.03058},
year = {2022}
}