基于分辨率失配数据的弱监督单目深度估计
计算机视觉与模式识别
2021-09-27 v1
摘要
从单幅图像估计深度是计算机视觉中的活跃研究课题。最准确的方法基于全监督学习模型,其依赖大量稠密高分辨率(HR)真值深度图。然而实践中,彩色图像通常比深度图捕获的分辨率高得多,导致分辨率失配效应。本文提出一种新颖弱监督框架,以分辨率失配监督训练单目深度估计网络生成 HR 深度图,即输入为 HR 彩色图像、真值为低分辨率(LR)深度图。所提弱监督框架由权重共享的单目深度估计网络与用于蒸馏的深度重建网络组成。具体而言,对于单目深度估计网络,先将输入彩色图下采样以获得与真值深度同分辨率的 LR 版本。然后将 HR 与 LR 彩色图均送入所提单目深度估计网络,得到相应估计深度图。我们引入三种损失训练网络:1)估计 LR 深度与真值 LR 深度间的重建损失;2)下采样估计 HR 深度与真值 LR 深度间的重建损失;3)估计 LR 深度与下采样估计 HR 深度间的一致性损失。此外,我们设计了一个从深度到深度的深度重建网络。通过蒸馏损失,两网络间特征在亲和空间保持结构一致性,最终提升估计网络性能。实验结果表明,我们的方法优于基于无监督与半监督学习的方案,且与监督方案相比具竞争力甚至更优。
引用
@article{arxiv.2109.11573,
title = {Weakly-Supervised Monocular Depth Estimationwith Resolution-Mismatched Data},
author = {Jialei Xu and Yuanchao Bai and Xianming Liu and Junjun Jiang and Xiangyang Ji},
journal= {arXiv preprint arXiv:2109.11573},
year = {2021}
}