面向高动态范围图像的深度色调映射算子
图像与视频处理
2019-08-20 v1 计算机视觉与模式识别
图形学
摘要
一个计算快速、能迅速适应广泛高动态范围（HDR）内容的色调映射算子（TMO），对于在电影屏幕或标准显示器等多种低动态范围（LDR）输出设备上的可视化至关重要。现有 TMO 只能成功地对有限数量的 HDR 内容进行色调映射，并且需要大量的参数调优以产生最佳主观质量的色调映射输出。在本文中，我们通过提出一种快速、无参数且场景自适应的深度色调映射算子（DeepTMO）来解决此问题，其可生成高分辨率且高主观质量的色调映射输出。基于条件生成对抗网络（cGAN），DeepTMO 不仅学习适应大量场景内容（例如户外、室内、人物、建筑等），还应对 HDR 相关的场景特定挑战（如对比度和亮度），同时保留细粒度细节。我们探索了 4 种生成器-判别器架构设计的可能组合，以专门解决 HDR 相关深度学习框架中的一些突出问题，如模糊、平铺图案和饱和伪影。通过在 cGAN 设定下探究尺度、损失函数与归一化层的不同影响，我们最终采用多尺度模型来完成我们的任务。为了进一步利用大规模可用的无标签 HDR 数据，我们通过使用一种客观 HDR 质量度量（即 Tone Mapping Image Quality Index (TMQI)）生成目标来训练我们的网络。我们从定量和定性两方面展示结果，并表明我们的 DeepTMO 在大量真实场景上生成了高分辨率、高质量的输出图像。最后，我们通过进行成对主观研究来评估我们结果的可感知质量，该研究证实了方法的通用性。
引用
@article{arxiv.1908.04197,
title = {Deep Tone Mapping Operator for High Dynamic Range Images},
author = {Aakanksha Rana and Praveer Singh and Giuseppe Valenzise and Frederic Dufaux and Nikos Komodakis and Aljosa Smolic},
journal= {arXiv preprint arXiv:1908.04197},
year = {2019}
}