利用自监督深度估计改进半监督与域自适应语义分割
计算机视觉与模式识别
2021-08-31 v1
摘要
训练用于语义分割的深度网络需要大量带标注的训练数据，这在实际中构成主要挑战，因为标注分割掩码是高度劳动密集型的过程。为解决此问题，我们提出了一种半监督与域自适应语义分割框架，其通过仅在无标注图像序列上训练的自监督单目深度估计（SDE）得到增强。具体而言，我们在整个学习框架中全面利用 SDE 作为辅助任务：首先，基于 SDE 与语义分割之间样本多样性与难度的相关性，自动选择最有用于标注的语义分割样本。其次，我们利用场景几何通过混合图像与标签实现强数据增强。第三，我们通过迁移学习和多任务学习将 SDE 期间学到的特征知识迁移到语义分割。第四，我们利用额外的带标注合成数据与跨域 DepthMix 和匹配几何采样来对齐合成数据与真实数据。我们在 Cityscapes 数据集上验证了所提模型，其中全部四项贡献均展现出显著的性能提升，并在半监督语义分割以及半监督域自适应上取得了 SOTA 结果。特别地，仅使用 1/30 的 Cityscapes 标签，我们的方法达到了全监督基线性能的 92%，而在利用来自 GTA 的额外数据时更达到 97%。源代码可在 https://github.com/lhoyer/improving_segmentation_with_selfsupervised_depth 获取。
引用
@article{arxiv.2108.12545,
title = {Improving Semi-Supervised and Domain-Adaptive Semantic Segmentation with Self-Supervised Depth Estimation},
author = {Lukas Hoyer and Dengxin Dai and Qin Wang and Yuhua Chen and Luc Van Gool},
journal= {arXiv preprint arXiv:2108.12545},
year = {2021}
}
备注
arXiv admin note: text overlap with arXiv:2012.10782