用于真实散景渲染的基于自适应掩码金字塔网络
计算机视觉与模式识别
2022-10-31 v1
摘要
散景效果突出图像中的物体（或任意部分）同时模糊其余部分，营造出视觉愉悦的艺术效果。由于移动设备上基于传感器的限制，基于机器学习（ML）的散景渲染作为一种可靠替代方案受到关注。本文关注基于 ML 的散景渲染的若干改进：i) 在高分辨率图像上的设备端性能，ii) 以用户可编辑掩码引导散景生成的能力，以及 iii) 产生可变模糊强度的能力。为此，我们提出自适应掩码金字塔网络（AMPN），其由掩码引导散景生成器（MGBG）模块和拉普拉斯金字塔细化（LPR）模块组成。MGBG 由两个轻量网络堆叠而成以生成散景效果，LPR 对 MGBG 的输出进行细化与上采样以产生高分辨率散景图像。我们通过轻量、移动端友好的设计选择实现 i)，通过 MGBG 的堆叠网络设计与弱监督掩码预测方案实现 ii)，并通过手动或自动编辑引导散景生成的掩码强度值实现 iii)。除这些特性外，我们的结果表明，在 EBB! 数据集上 AMPN 相较现有方法取得了具竞争力或更优的结果，同时比替代方案更快且更小。
引用
@article{arxiv.2210.16078,
title = {Adaptive Mask-based Pyramid Network for Realistic Bokeh Rendering},
author = {Konstantinos Georgiadis and Albert Saà-Garriga and Mehmet Kerim Yucel and Anastasios Drosou and Bruno Manganelli},
journal= {arXiv preprint arXiv:2210.16078},
year = {2022}
}
备注
ECCV 2022 Advances in Image Manipulation Workshop. See the workshop website for posters and recordings