利用深度 CNN 从单次曝光重建 HDR 图像
计算机视觉与模式识别
2017-11-28 v1 图形学
机器学习
摘要
相机传感器只能同时捕捉有限的亮度范围，为了创建高动态范围 (HDR) 图像，通常需要组合一组不同曝光的图像。在本文中，我们解决了预测饱和图像区域中丢失信息的问题，以实现从单次曝光进行 HDR 重建。我们表明该问题非常适合深度学习算法，并提出了一种专门设计的深度卷积神经网络 (CNN)，充分考虑了预测 HDR 值的挑战。为了训练 CNN，我们收集了一个大型 HDR 图像数据集，并通过模拟一系列相机的传感器饱和对其进行了增强。为了进一步提高鲁棒性，我们在基于 MIT Places 数据库子集创建的模拟 HDR 数据集上对 CNN 进行了预训练。我们证明，我们的方法可以在广泛的情况下重建高分辨率且视觉上令人信服的 HDR 结果，并且能很好地泛化到使用未知相机响应函数和后处理的任意低端相机所捕获图像的重建。此外，我们将现有 HDR 扩展方法进行了比较，并展示了在基于图像的照明方面也具有高质量结果。最后，我们在 HDR 显示器上进行的主体实验中评估了结果。这表明重建的 HDR 图像在视觉上令人信服，与现有方法相比有显著改进。
引用
@article{arxiv.1710.07480,
title = {HDR image reconstruction from a single exposure using deep CNNs},
author = {Gabriel Eilertsen and Joel Kronander and Gyorgy Denes and Rafał K. Mantiuk and Jonas Unger},
journal= {arXiv preprint arXiv:1710.07480},
year = {2017}
}
备注
15 pages, 19 figures, Siggraph Asia 2017. Project webpage located at http://hdrv.org/hdrcnn/ where paper with high quality images is available, as well as supplementary material (document, images, video and source code)