DeepLens：从单幅图像生成浅景深效果
计算机视觉与模式识别
2018-10-19 v1
摘要
我们旨在从单幅全对焦图像生成高分辨率浅景深(DoF)图像，且焦距与光圈大小可控。为此，我们提出了一种由深度预测模块、镜头模糊模块和引导上采样模块组成的新型神经网络模型。所有模块均可微分并从数据中学习。为训练深度预测模块，我们收集了由双镜头相机手机捕获的2462张RGB-D图像数据集，并利用现有分割数据集改进边界预测。我们进一步利用具有已知深度的合成数据集来监督镜头模糊与引导上采样模块。实验验证了我们的系统与训练策略的有效性。我们的方法能高分辨率地生成高质量浅景深图像，且相比基线和现有单图像浅景深合成方案产生显著更少的伪影。与基于双镜头深度相机的顶尖浅景深方案 iPhone 人像模式相比，我们的方法生成相当的结果，同时允许更灵活地选择焦点和光圈大小，且不受单一拍摄设置限制。
引用
@article{arxiv.1810.08100,
title = {DeepLens: Shallow Depth Of Field From A Single Image},
author = {Lijun Wang and Xiaohui Shen and Jianming Zhang and Oliver Wang and Zhe Lin and Chih-Yao Hsieh and Sarah Kong and Huchuan Lu},
journal= {arXiv preprint arXiv:1810.08100},
year = {2018}
}
备注
11 pages, 15 figures, accepted by SIGGRAPH Asia 2018, low-resolution version