亮度调制深度逆色调映射
图像与视频处理
2021-07-19 v1 计算机视觉与模式识别
多媒体
摘要
单图像 HDR 重建或逆色调映射(iTM)是一项具有挑战性的任务。特别是,恢复过曝光区域中的信息极为困难,因为此类区域中的细节几乎完全丢失。在本文中,我们提出了一种基于深度学习的 iTM 方法,该方法利用深度卷积神经网络(CNNs)的特征提取与映射能力,并使用亮度先验来调制 CNN,以更好地利用过曝光区域周边环境的观测来增强 HDR 图像重建的质量。具体而言,我们引入了分层合成网络(HiSN)用于从 LDR 输入推断 HDR 图像,以及亮度自适应调制网络(LAMN)以在推断过程中融入亮度先验知识。HiSN 分层合成 HDR 图像的高亮度分量和低亮度分量,而 LAMN 使用亮度自适应掩码将无细节的饱和亮像素与曝光良好的低光像素分离,使 HiSN 能够更好地推断缺失信息,尤其是在困难的过曝光无细节区域。我们给出了实验结果,通过定量度量和视觉比较证明了新技术的有效性。此外,我们给出了 HiSN 的消融研究以及 LAMN 内部激活图的可视化,以帮助更深入地理解新 iTM 算法的内部工作机制,并解释其为何能比最先进算法取得大幅改进的性能。
引用
@article{arxiv.2107.07907,
title = {Lightness Modulated Deep Inverse Tone Mapping},
author = {Kanglin Liu and Gaofeng Cao and Jiang Duan and Guoping Qiu},
journal= {arXiv preprint arXiv:2107.07907},
year = {2021}
}
备注
11 pages, 10 figures