基于深度学习的离焦图像深度估计与图像复原
计算机视觉与模式识别
2023-07-31 v2 图像与视频处理
摘要
单目深度估计与图像去模糊是计算机视觉中两项基础任务，鉴于其在理解三维场景中的关键作用。仅依靠单幅图像完成其中任一任务均为不适定问题。深度卷积神经网络（DNNs）领域的近期进展革新了包括深度估计与图像去模糊在内的诸多计算机视觉任务。对于离焦图像，由于离焦物理特性，深度估计与全聚焦（Aif）图像恢复成为相关联的问题。尽管如此，现有多数模型将二者分开处理。然而，近期亦有模型通过顺序拼接两个网络同时求解这些问题，先估计深度或离焦图，再据此重建聚焦图像。我们提出一种并行求解深度估计与图像去模糊的DNN。我们的双头深度估计与去模糊网络（2HDED:NET）在常规离焦深度（DFD）网络基础上扩展了一个去模糊分支，该分支与深度分支共享同一编码器。所提方法已在两个基准上成功测试，其一为室内场景NYU-v2，另一为室外场景Make3D。在这些基准上以2HDED:NET进行的广泛实验表明，其在深度估计与图像去模糊上取得了优于或媲美最先进（SOTA）模型的性能。
引用
@article{arxiv.2302.10730,
title = {Depth Estimation and Image Restoration by Deep Learning from Defocused Images},
author = {Saqib Nazir and Lorenzo Vaquero and Manuel Mucientes and Víctor M. Brea and Daniela Coltuc},
journal= {arXiv preprint arXiv:2302.10730},
year = {2023}
}