利用双层级孪生结构网络改进半监督语义分割
计算机视觉与模式识别
2024-04-18 v2 机器学习
摘要
半监督语义分割(SSS)是一项重要任务,它利用有标签与无标签数据来降低训练样本标注的开销。然而,SSS 算法的有效性受限于难以充分挖掘无标签数据的潜力。为此,我们提出一种用于像素级对比学习的双层级孪生结构网络(DSSN)。通过在低层图像空间与高层特征空间中利用强增强视图以像素级对比损失对齐正样本对,所提 DSSN 旨在最大化可用无标签数据的利用率。此外,我们引入一种新颖的面向弱到强监督的类感知伪标签选择策略,以解决现有多数方法不进行选择或对各类采用预定义阈值的局限。具体而言,我们的策略为每类选取弱视图的前高置信度预测以生成监督强增强视图的伪标签。该策略能够兼顾类不平衡并提升长尾类的性能。所提方法在 PASCAL VOC 2012 与 Cityscapes 两个数据集上取得了最先进(state-of-the-art, SOTA)结果,以显著优势超越其他 SSS 算法。源代码见 https://github.com/kunzhan/DSSN。
引用
@article{arxiv.2307.13938,
title = {Improving Semi-Supervised Semantic Segmentation with Dual-Level Siamese Structure Network},
author = {Zhibo Tain and Xiaolin Zhang and Peng Zhang and Kun Zhan},
journal= {arXiv preprint arXiv:2307.13938},
year = {2024}
}
备注
ACM MM 2023