利用自监督深度估计改进语义分割的三种途径
计算机视觉与模式识别
2021-04-06 v2
摘要
训练用于语义分割的深度网络需要大量标注训练数据，这在实际中构成主要挑战，因为标注分割掩码是高度劳动密集型的过程。为解决此问题，我们提出一种半监督语义分割框架，其通过从无标注图像序列中进行自监督单目深度估计而得到增强。具体而言，我们提出三项关键贡献：（1）我们将自监督深度估计过程中学到的特征知识迁移至语义分割；（2）我们利用场景几何通过混合图像与标签实现强数据增强；（3）我们在学生-教师框架中利用深度特征多样性以及学习深度的难度水平，筛选最有益于语义分割标注的样本。我们在 Cityscapes 数据集上验证了所提模型，其中所有三个模块均展现出显著的性能提升，并且我们在半监督语义分割上取得了最先进的（SOTA）结果。实现代码见 https://github.com/lhoyer/improving_segmentation_with_selfsupervised_depth。
引用
@article{arxiv.2012.10782,
title = {Three Ways to Improve Semantic Segmentation with Self-Supervised Depth Estimation},
author = {Lukas Hoyer and Dengxin Dai and Yuhua Chen and Adrian Köring and Suman Saha and Luc Van Gool},
journal= {arXiv preprint arXiv:2012.10782},
year = {2021}
}
备注
CVPR21