ProtoCon：通过在线聚类与原型一致性细化伪标签以实现高效半监督学习
计算机视觉与模式识别
2023-03-27 v1
摘要
基于置信度的伪标签方法是半监督学习（SSL）中的主流方法之一。它依赖于将未标注数据上产生的高置信度预测作为额外目标来训练模型。我们提出 ProtoCon，一种面向较少被探索的标签稀缺 SSL 场景的新型 SSL 方法，此类方法在该场景下通常表现不佳。ProtoCon 通过利用伪标签最近邻的信息来细化伪标签。这些邻居在训练过程中通过一个在线聚类方法识别，该方法在由原型损失训练的嵌入空间中运行以鼓励形成良好簇结构。ProtoCon 的在线特性使其能够在一次训练周期中利用整个数据集的标签历史，以在下一周期中细化标签，而无需存储图像嵌入。因此，它能以低成本无缝扩展到更大数据集。最后，ProtoCon 通过引入辅助自监督损失，解决了训练初始阶段（由于置信预测较少）训练信号薄弱的问题。在包括 CIFARs、ImageNet 和 DomainNet 在内的 5 个数据集上，它相比最先进方法取得了显著提升和更快收敛。
引用
@article{arxiv.2303.13556,
title = {ProtoCon: Pseudo-label Refinement via Online Clustering and Prototypical Consistency for Efficient Semi-supervised Learning},
author = {Islam Nassar and Munawar Hayat and Ehsan Abbasnejad and Hamid Rezatofighi and Gholamreza Haffari},
journal= {arXiv preprint arXiv:2303.13556},
year = {2023}
}
备注
Accepted in CVPR2023 (highlight)