将自监督单目深度估计引入语义分割的无监督域适应
计算机视觉与模式识别
2021-10-14 v1
摘要
尽管近期语义分割方法取得了显著进展，它们仍依赖大量标注训练数据，而在自动驾驶场景中收集这些数据往往不可行。先前工作通常通过无监督域适应（UDA）来解决该问题，即在合成图像上训练网络并将模型应用于真实图像，同时最小化两域间的差异。然而，这些技术未考虑可从其他任务获得的额外信息。与之不同，我们提出利用自监督单目深度估计来改进面向语义分割的 UDA。一方面，我们部署深度以实现一即插即用组件，可将互补的几何线索注入任意现有 UDA 方法。我们进一步依靠深度生成大量多样化样本以对最终模型进行自训练（Self-Train）。我们的整体方案在 GTA5->CS 基准上达到了最先进性能（58.8 mIoU）。代码见 https://github.com/CVLAB-Unibo/d4-dbst。
引用
@article{arxiv.2110.06685,
title = {Plugging Self-Supervised Monocular Depth into Unsupervised Domain Adaptation for Semantic Segmentation},
author = {Adriano Cardace and Luca De Luigi and Pierluigi Zama Ramirez and Samuele Salti and Luigi Di Stefano},
journal= {arXiv preprint arXiv:2110.06685},
year = {2021}
}
备注
Accepted at WACV 2022