用于单图像快速散景效果渲染的堆叠深度多尺度层次网络
计算机视觉与模式识别
2021-05-18 v1 人工智能
摘要
散景效果是摄影中最令人青睐的效果之一，用于渲染富有艺术感与美感的照片。通常，需要配备不同光圈与快门设置的 DSLR 相机以及一定的摄影技巧来生成该效果。在智能手机中，计算方法与额外传感器被用来克服物理镜头与传感器的限制以实现此种效果。现有多数方法利用额外传感器的数据或预训练网络进行场景的精细深度估计，有时还使用人像分割预训练网络模块来分割图像中的显著物体。出于这些原因，网络参数量大、运行耗时高，无法在中端设备上运行。本文中，我们使用端到端的深度多尺度层次网络（DMSHN）模型，对单目相机所捕获图像直接进行散景效果渲染。为进一步提升该效果的感知质量，还提出了由两级 DMSHN 模块构成的堆叠模型。我们的模型不依赖任何用于单目深度估计或显著性检测的预训练网络模块，从而显著减小模型规模与运行时间。堆叠 DMSHN 在大规模 EBB! 数据集上取得最先进结果，处理 HD 质量图像时运行时间较当前最先进模型减少约 6 倍。
引用
@article{arxiv.2105.07174,
title = {Stacked Deep Multi-Scale Hierarchical Network for Fast Bokeh Effect Rendering from a Single Image},
author = {Saikat Dutta and Sourya Dipta Das and Nisarg A. Shah and Anil Kumar Tiwari},
journal= {arXiv preprint arXiv:2105.07174},
year = {2021}
}
备注
Accepted to MAI workshop, CVPR 2021. Code and models: https://github.com/saikatdutta/Stacked_DMSHN_bokeh