边界精炼原型生成：一种用于半监督语义分割的通用端到端范式
计算机视觉与模式识别
2024-09-17 v2
摘要
半监督语义分割在计算机视觉中受到越来越多的关注，旨在通过网络潜在监督利用无标签数据。为实现此目标，基于原型的分类被引入并取得诸多成功。然而，当前方法将原型生成与主训练框架隔离，呈现出非端到端的工作流。此外，多数方法直接在特征上执行 K-Means 聚类以生成原型，导致其接近类别语义中心，却忽视了类边界的清晰划分。为解决上述问题，我们提出一种新颖的端到端边界精炼原型生成（BRPG）方法。具体而言，我们对采样特征进行在线聚类，以将原型生成纳入整体训练框架。此外，为增强分类边界，我们基于置信度估计分别采样并聚类高、低置信度特征，从而促进生成更靠近类边界的原型。而且，提出一种自适应原型优化策略，为具有分散特征分布的类别增加原型数量，进一步精炼类边界。大量实验表明，我们的方法在多种数据集、分割网络和半监督框架下具有显著的鲁棒性与可扩展性，在三个基准数据集 PASCAL VOC 2012、Cityscapes 和 MS COCO 上优于 SOTA 方法。代码见 https://github.com/djh-dzxw/BRPG。
引用
@article{arxiv.2307.10097,
title = {Boundary-Refined Prototype Generation: A General End-to-End Paradigm for Semi-Supervised Semantic Segmentation},
author = {Junhao Dong and Zhu Meng and Delong Liu and Jiaxuan Liu and Zhicheng Zhao and Fei Su},
journal= {arXiv preprint arXiv:2307.10097},
year = {2024}
}
备注
Accepted by EAAI 2024