基于扩散框架的高质量高效 Bokeh 渲染

现有移动设备受限于紧凑的光学设计，如小光圈，难以产生自然、光学上真实的 Bokeh 效果。虽然近期基于学习的方法已显示出有前景的结果，但它们仍在高数字变焦水平下难题——这些图像常常受到分辨率降低和细节丢失的影响。朴素的解决方案是在应用 Bokeh 渲染前增强图像质量，但该两阶段管道会降低效率并引入不必要的误差累积。为克服这些限制，我们提出了MagicBokeh——一个统一的基于扩散的框架，专为高质量和高效 Bokeh 渲染设计。通过另一种训练策略和聚焦感知的掩码注意力机制，我们的方法联合优化 Bokeh 渲染和超分辨率，显著提高了可控性和视觉保真度。此外，我们引入退化感知深度模块，以实现从低质量输入更准确的深度估计。实验结果表明，MagicBokeh能够高效地在真实世界的低分辨率图像上产生逼真的 Bokeh 效果，为未来 Bokeh 渲染的进一步发展铺平了道路。我们的代码和模型已在 https://github.com/vivoCameraResearch/MagicBokeh 提供。