基于真实图像的单目深度与离焦估计多任务学习
计算机视觉与模式识别
2022-08-23 v1 图像与视频处理
摘要
单目深度估计与离焦估计是计算机视觉中两项基础任务。大多数现有方法将深度估计与离焦估计视为两个独立任务，忽略了它们之间的强关联。本工作中，我们提出一个由带两个解码器的编码器组成的多任务学习网络，从单张聚焦图像估计深度与离焦图。通过该多任务网络，深度估计助力离焦估计在弱纹理区域获得更好结果，而离焦估计借助两图间强物理关联促进深度估计。我们建立了一个数据集(命名为 ALL-in-3D 数据集)，这是首个全真实图像数据集，包含 10 万组全聚焦图像、带聚焦深度的聚焦图像、深度图与离焦图。它使网络能从深度与真实离焦图像间学习特征及坚实物理关联。实验表明，网络从真实聚焦图像学到的特征比从合成聚焦图像更坚实。得益于这种不同任务相互促进的多任务结构，我们的深度与离焦估计取得了显著优于其他最先进算法的性能。代码与数据集将公开于 https://github.com/cubhe/MDDNet。
引用
@article{arxiv.2208.09848,
title = {Multi-task Learning for Monocular Depth and Defocus Estimations with Real Images},
author = {Renzhi He and Hualin Hong and Boya Fu and Fei Liu},
journal= {arXiv preprint arXiv:2208.09848},
year = {2022}
}