SemHint-MD：利用噪声语义标签学习自监督单目深度估计
计算机视觉与模式识别
2023-04-03 v1
摘要
在没有真实监督的情况下，自监督深度估计可能因光度损失的梯度局部性问题而陷入局部极小值。在本文中，我们提出一种利用语义分割引导网络跳出局部极小值的框架以增强深度估计。先前的工作提出在两任务间共享编码器，或基于深度图与分割图中边缘一致性等先验显式对齐它们。然而，这些方法通常需要真实标签或高质量伪标签，在真实应用场景中未必易得。相反，我们研究自监督深度估计与一个由有限数据预训练模型提供的噪声标签所监督的分割分支协同进行。我们将参数共享从编码器扩展至解码器，并研究不同数量共享解码器参数对模型性能的影响。此外，我们提出利用跨任务信息精炼当前的深度与分割预测，以生成伪深度与语义标签用于训练。所提方法的优势通过在 KITTI 基准及下游内窥镜组织形变跟踪任务上的大量实验得到验证。
引用
@article{arxiv.2303.18219,
title = {SemHint-MD: Learning from Noisy Semantic Labels for Self-Supervised Monocular Depth Estimation},
author = {Shan Lin and Yuheng Zhi and Michael C. Yip},
journal= {arXiv preprint arXiv:2303.18219},
year = {2023}
}