基于3D高斯溅写及双注意力深度估计
计算机视觉与模式识别
2025-04-15 v2
摘要
深度估计是3D几何中的一个基本任务。虽然立体深度估计可以通过三角化方法实现，但对单目方法而言，却需要整合全局与局部信息。深度由焦外法（Depth from Defocus, DFD）方法利用相机镜头模型和参数，从模糊图像中恢复深度信息，已被证明性能良好。然而，这些方法依赖全焦内（All-In-Focus, AIF）图像进行深度估计，而在实际应用中几乎不可能获得。为此，我们提出一种基于3D高斯溅写和双注意力网络的自监督框架。通过学习同一场景在不同焦距下的模糊程度，框架从单张模糊图像预测模糊图和圆形混乱（Circle of Confusion, CoC），并将模糊图作为输入供DepthNet进行单目深度估计。3D高斯溅写模型利用预测的CoC渲染模糊图像，与真实模糊图像之间的差异为双注意力Defocus自监督网络提供额外的监督信号。该框架在人工合成和真实模糊数据集上均经过验证。后续的定量和可视化实验表明，我们提出的框架在DFD方法方面具有高度有效性。
引用
@article{arxiv.2409.12323,
title = {Depth Estimation Based on 3D Gaussian Splatting Siamese Defocus},
author = {Jinchang Zhang and Ningning Xu and Hao Zhang and Guoyu Lu},
journal= {arXiv preprint arXiv:2409.12323},
year = {2025}
}