URCDC-Depth：基于 CutFlip 的不确定性修正跨蒸馏单目深度估计
计算机视觉与模式识别
2023-02-20 v2
摘要
本工作旨在从单张 RGB 图像估计高质量深度图。由于缺乏深度线索，充分利用长程相关性与局部信息对精确深度估计至关重要。为此，我们引入 Transformer 与卷积神经网络（CNN）之间的不确定性修正跨蒸馏，以学习统一的深度估计器。具体而言，我们将 Transformer 分支与 CNN 分支的深度估计作为伪标签相互教导。同时，我们对逐像素深度不确定性进行建模，以修正含噪伪标签的损失权重。为避免强 Transformer 分支引起的大容量差距损害跨蒸馏，我们将特征图从 Transformer 迁移至 CNN，并设计耦合单元以辅助弱 CNN 分支利用迁移特征。此外，我们提出一种极其简单却极为有效的数据增强技术 CutFlip，它迫使模型在深度推断中利用除图像垂直位置外更有价值的线索。大量实验表明，我们的模型（称为 \textbf{URCDC-Depth}）在 KITTI、NYU-Depth-v2 与 SUN RGB-D 数据集上超越了以往的 SOTA 方法，且在推理时无需额外计算负担。源代码公开于 \url{https://github.com/ShuweiShao/URCDC-Depth}。
引用
@article{arxiv.2302.08149,
title = {URCDC-Depth: Uncertainty Rectified Cross-Distillation with CutFlip for Monocular Depth Estimation},
author = {Shuwei Shao and Zhongcai Pei and Weihai Chen and Ran Li and Zhong Liu and Zhengguo Li},
journal= {arXiv preprint arXiv:2302.08149},
year = {2023}
}
备注
9 pages