利用深度学习渲染自然相机散景效果
计算机视觉与模式识别
2020-06-11 v1 机器学习
图像与视频处理
摘要
散景是一种重要的艺术效果，通过对所有失焦区域进行模糊来突出照片中感兴趣的主体。虽然单反和系统相机镜头能自然呈现该效果，但由于光学孔径直径极小，移动相机无法拍摄出浅景深照片。与当前通过对图像背景施加高斯模糊来模拟散景的方案不同，本文提出直接从单反相机所拍照片中学习真实的浅焦点技术。为此，我们提出一个大规模散景数据集，包含使用 Canon 7D 单反配 50mm f/1.8 镜头拍摄的 5K 对浅景深/宽景深图像。我们利用这些图像训练一个深度学习模型，基于单张窄孔径图像重现自然散景效果。实验结果表明，即便在具有多个物体的复杂输入数据情况下，所提方法也能渲染出合理的非均匀散景。本文使用的数据集、预训练模型与代码均可在项目网站获取。
引用
@article{arxiv.2006.05698,
title = {Rendering Natural Camera Bokeh Effect with Deep Learning},
author = {Andrey Ignatov and Jagruti Patel and Radu Timofte},
journal= {arXiv preprint arXiv:2006.05698},
year = {2020}
}