使用带掩码特征与感知损失的CNN进行单图像HDR重建
图像与视频处理
2020-05-18 v1 图形学
摘要
数码相机只能捕获真实世界场景亮度的有限范围，产生带有饱和像素的图像。现有的单图像高动态范围（HDR）重建方法试图扩展亮度范围，但无法生成合理的纹理，导致饱和区域出现伪影。本文中，我们提出一种新颖的基于学习的方法，通过以视觉愉悦的方式恢复输入LDR图像的饱和像素来重建HDR图像。先前基于深度学习的方法在曝光良好与饱和像素上应用相同的卷积滤波器，造成训练期间的歧义并导致棋盘格与光晕伪影。为克服该问题，我们提出一种特征掩码机制，以降低饱和区域特征的贡献。此外，我们将基于VGG的感知损失函数适配于我们的应用，以合成视觉愉悦的纹理。由于用于训练的HDR图像数量有限，我们提议分两阶段训练系统。具体而言，我们首先在大量图像上针对图像修复任务训练系统，然后在HDR重建上微调。由于多数HDR样本包含易于重建的平滑区域，我们提出一种采样策略，在HDR微调阶段选择具挑战性的训练块。我们通过实验结果表明，我们的方法可重建视觉愉悦的HDR结果，在广泛场景上优于当前最先进水平。
引用
@article{arxiv.2005.07335,
title = {Single Image HDR Reconstruction Using a CNN with Masked Features and Perceptual Loss},
author = {Marcel Santana Santos and Tsang Ing Ren and Nima Khademi Kalantari},
journal= {arXiv preprint arXiv:2005.07335},
year = {2020}
}
备注
10 pages, 13 figures, to be published in ACM SIGGRAPH 2020. For project page see http://faculty.cs.tamu.edu/nimak/Papers/SIGGRAPH2020_HDR/