基于自定义焦平面引导的可变光圈景深渲染
计算机视觉与模式识别
2024-10-21 v1
摘要
景深渲染是摄影中最流行的技术之一，可使照片在视觉上更具吸引力，迫使用户注意力聚焦于图像的特定区域。然而，实现满意的景深效果通常面临重大挑战，因为携带受限光学系统的移动相机受到约束，而昂贵的高端 DSLR 镜头又需要大光圈。因此，近年来发展出许多基于深度学习的计算摄影方法来模拟景深效果。然而，这些方法大多限制于在特定单一光圈下渲染景深效果。缺乏能够提供精确焦平面控制和定制化景深生成的用户友好型景深渲染方法。同时，也缺乏可能推动可变光圈景深学习的真实逼真景深数据集。为此，本文提出了一种有效的可控景深渲染方法，并贡献了一个可变光圈景深数据集 (Variable Aperture Bokeh Dataset, VABD)。在提出的方法中，用户可以自定义焦平面以准确定位关心的主体，并选择目标光圈信息进行景深渲染。在公开的 EBB! 数据集和我们构建的数据集 VABD 上进行的实验表明，自定义焦平面结合光圈提示可为模型模拟真实逼真的景深效果提供动力学。该方法仅需 440 万参数即可实现与最新水平的竞争性能，远轻于主流的计算景深模型。所贡献的数据集和源代码将在 GitHub发布：https://github.com/MoTong-AI-studio/VABM。
引用
@article{arxiv.2410.14400,
title = {Variable Aperture Bokeh Rendering via Customized Focal Plane Guidance},
author = {Kang Chen and Shijun Yan and Aiwen Jiang and Han Li and Zhifeng Wang},
journal= {arXiv preprint arXiv:2410.14400},
year = {2024}
}