学习自监督低秩网络用于单阶段弱监督和半监督语义分割
计算机视觉与模式识别
2022-03-22 v1
摘要
语义分割在有限标注下，如弱监督语义分割（WSSS）和半监督语义分割（SSSS），是一项具有挑战性的任务，近年来备受关注。大多数领先的WSSS方法采用复杂的多阶段训练策略来尽可能精确地估计伪标签，但模型复杂度高。相比之下，另一条研究路线是在一个训练周期内使用图像级标签训练单个网络。然而，这种单阶段策略由于不准确的伪标签估计导致的复合效应，通常表现不佳。为了解决这个问题，本文提出了一种自监督低秩网络（SLRNet）用于单阶段WSSS和SSSS。SLRNet使用跨视图自监督，即同时从图像的不同视图预测多个互补的注意力低秩表示，以学习精确的伪标签。具体来说，我们将低秩表示学习重新表述为一个集体矩阵分解问题，并以端到端的方式与网络学习联合优化。得到的低秩表示摒弃了噪声信息，同时捕获了不同视图间的稳定语义，使其对输入变化具有鲁棒性，从而减少对自监督误差的过拟合。SLRNet可以为各种标签高效的语义分割设置提供统一的单阶段框架：1）仅使用图像级标签数据的WSSS，2）使用少量像素级标签数据的SSSS，3）使用少量像素级标签数据和大量图像级标签数据的SSSS。在Pascal VOC 2012、COCO和L2ID数据集上的大量实验表明，我们的SLRNet在各种不同设置下均优于最先进的WSSS和SSSS方法，证明了其良好的泛化能力和有效性。
引用
@article{arxiv.2203.10278,
title = {Learning Self-Supervised Low-Rank Network for Single-Stage Weakly and Semi-Supervised Semantic Segmentation},
author = {Junwen Pan and Pengfei Zhu and Kaihua Zhang and Bing Cao and Yu Wang and Dingwen Zhang and Junwei Han and Qinghua Hu},
journal= {arXiv preprint arXiv:2203.10278},
year = {2022}
}
备注
Accepted to IJCV 2022