深入探究基于不确定性的伪标签以实现鲁棒立体匹配
计算机视觉与模式识别
2023-08-01 v1
摘要
由于多个数据集之间的域差异与视差分布不均衡，当前的立体匹配方法通常局限于特定数据集，且对其他数据集泛化性差。此类域偏移问题通常通过对昂贵的目标域真实标注数据进行大量适配来解决，而在实际场景中难以轻易获取此类数据。本文中，我们提出深入探究不确定性估计以实现鲁棒立体匹配。具体而言，为平衡视差分布，我们采用像素级不确定性估计来自适应调整下一阶段的视差搜索空间，从而驱动网络逐步剪除不可能匹配的空间。进而，为解决真实标注数据有限的问题，提出一种基于不确定性的伪标签方法，将预训练模型适配至新域，其中提出像素级与区域级不确定性估计以过滤预测视差图中高不确定性像素，并生成稀疏而可靠的伪标签以对齐域间差距。实验上，我们的方法展现出强大的跨域、适配与联合泛化能力，并在 Robust Vision Challenge 2020 的立体任务中获得第一名。此外，我们基于不确定性的伪标签可扩展用于以无监督方式训练单目深度估计网络，甚至取得与有监督方法相当的性能。代码将发布于 https://github.com/gallenszl/UCFNet。
引用
@article{arxiv.2307.16509,
title = {Digging Into Uncertainty-based Pseudo-label for Robust Stereo Matching},
author = {Zhelun Shen and Xibin Song and Yuchao Dai and Dingfu Zhou and Zhibo Rao and Liangjun Zhang},
journal= {arXiv preprint arXiv:2307.16509},
year = {2023}
}
备注
Accepted by TPAMI