基于离焦线索的完全自监督深度估计
图像与视频处理
2023-03-28 v4 计算机视觉与模式识别
摘要
离焦深度估计（DFD）通过建模图像中深度与离焦模式之间的关系，在深度估计中展现出良好的性能。近来，若干自监督工作试图克服获取精确深度真值的困难。然而，它们依赖于全聚焦（AIF）图像，而这在真实场景中无法捕获。这一局限阻碍了 DFD 方法的应用。为解决这个问题，我们提出了一种完全自监督框架，仅从稀疏聚焦栈估计深度。我们表明，我们的框架规避了对深度和 AIF 图像真值的需求，并获得了更优的预测，从而缩小了 DFD 工作的理论成功与其在真实世界应用之间的差距。具体而言，我们提出（i）一种更贴近现实的 DFD 任务设定，其中无可用的深度或 AIF 图像真值；（ii）一种新颖的自监督框架，在该挑战性设定下提供可靠的深度和 AIF 图像预测。所提框架使用神经模型预测深度和 AIF 图像，并利用光学模型验证并 refinement 预测。我们在三个具有渲染聚焦栈和真实聚焦栈的基准数据集上验证了我们的框架。定性和定量评估表明，我们的方法为自监督 DFD 任务提供了强基线。
引用
@article{arxiv.2303.10752,
title = {Fully Self-Supervised Depth Estimation from Defocus Clue},
author = {Haozhe Si and Bin Zhao and Dong Wang and Yunpeng Gao and Mulin Chen and Zhigang Wang and Xuelong Li},
journal= {arXiv preprint arXiv:2303.10752},
year = {2023}
}
备注
CVPR 2023 camera-ready version. The code is released at https://github.com/Ehzoahis/DEReD