基于深度感知点扩散函数的单镜可控景深成像
摘要
可控景深（DoF）成像通常基于重型昂贵的高端镜头，才能实现惊人的视觉效果。然而，面对日益增长的移动场景需求，实现轻量化解决方案更为理想。本文聚焦于单镜可控DoF成像中单体光学系统（MOS）的两个主要局限性：严重的光学差异和不可控的DoF。我们提出了基于深度感知点扩散函数（PSF）的单镜可控DoF成像框架，集成了全景（All-in-Focus, AiF）色差校正和单目深度估计。框架利用恢复的图像和对应的深度图，用于生成各种DoF的高端镜头的成像结果，通过局部卷积实现。为解决深度变动的光学退化问题，我们引入深度感知降解自适应训练（DA2T）方案。在数据集层面，建立了基于不同物体距离下PSF模拟的深度感知色差MOS（DAMOS）数据集。此外，我们设计了两种即插即用深度感知机制，将深度信息嵌入色差图像恢复中，以更好地处理深度感知降解。进一步，我们提出一种存储高效的全景镜头场（Omni-Lens-Field）模型，代表各种镜头的4D PSF库。凭借预测的深度图、恢复图像和由Omni-Lens-Field推断的深度感知PSF图，实现了单镜可控DoF成像。综合实验结果表明，本文框架提升了恢复性能，实现了令人瞩目的单镜可控DoF成像效果，为该领域提供了一种关键的基准。源代码和建立的数据集将公开于 https://github.com/XiaolongQian/DCDI。
引用
@article{arxiv.2409.09754,
title = {Towards Single-Lens Controllable Depth-of-Field Imaging via Depth-Aware Point Spread Functions},
author = {Xiaolong Qian and Qi Jiang and Yao Gao and Shaohua Gao and Zhonghua Yi and Lei Sun and Kai Wei and Haifeng Li and Kailun Yang and Kaiwei Wang and Jian Bai},
journal= {arXiv preprint arXiv:2409.09754},
year = {2025}
}
备注
Accepted to IEEE Transactions on Computational Imaging (TCI). The source code and the established dataset will be publicly available at https://github.com/XiaolongQian/DCDI