通过学习图像形成实现高效的 SDRTV 到 HDRTV 转换
计算机视觉与模式识别
2024-09-23 v2 多媒体
图像与视频处理
摘要
现代显示器能够呈现高动态范围（HDR）和宽色域（WCG）的视频内容。然而，大多数资源仍为标准动态范围（SDR）。因此，将现有的 SDR 内容转换为 HDRTV 标准具有重要价值。本文通过对 SDRTV/HDRTV 内容形成的建模，定义并分析了 SDRTV 到 HDRTV 任务。我们的研究发现，朴素的端到端监督训练方法存在严重的色域转换误差。为此，我们提出了一种名为 HDRTVNet++ 的三步新方案，包括自适应全局色彩映射、局部增强和高光细化。自适应全局色彩映射步骤利用全局统计信息进行图像自适应的色彩调整。局部增强网络进一步增强细节，两个子网络组合作为生成器，通过基于 GAN 的联合训练实现高光一致性。我们的方法专为超高清电视内容设计，在处理 4K 分辨率图像时既有效又轻量。我们还使用 HDR10 标准的 HDR 视频构建了一个名为 HDRTV1K 的数据集，包含 1235 张训练图像和 117 张测试图像，均为 4K 分辨率。此外，我们采用五个指标来评估 SDRTV 到 HDRTV 的性能。我们的结果表明在定量和视觉上均达到了最先进的性能。代码和模型可在 https://github.com/xiaom233/HDRTVNet-plus 获取。
引用
@article{arxiv.2309.04084,
title = {Towards Efficient SDRTV-to-HDRTV by Learning from Image Formation},
author = {Xiangyu Chen and Zheyuan Li and Zhengwen Zhang and Jimmy S. Ren and Yihao Liu and Jingwen He and Yu Qiao and Jiantao Zhou and Chao Dong},
journal= {arXiv preprint arXiv:2309.04084},
year = {2024}
}
备注
Extended version of HDRTVNet