柔性分布对齐：面向具有恰当校准的长尾半监督学习
机器学习
2024-07-16 v3 计算机视觉与模式识别
摘要
长尾半监督学习（LTSSL）代表了半监督应用的一种实际场景，其受到偏斜的标注分布对分类器产生偏置的挑战。当标注与未标注类别分布之间存在差异时，该问题往往加剧，导致伪标签偏置、忽视稀有类别以及概率校准不良。为解决这些问题，我们引入柔性分布对齐（FlexDA），一种新颖的自适应 logit 调整损失框架，旨在动态估计预测并与未标注数据的实际分布对齐，并在训练结束时获得平衡的分类器。FlexDA 进一步通过基于蒸馏的一致性损失增强，促进跨类别的公平数据使用并有效利用低置信度样本。该方法封装于 ADELLO（Align and Distill Everything All at Once）中，被证明对标签偏移具有鲁棒性，显著改善了 LTSSL 场景下的模型校准，并在包括 CIFAR100-LT、STL10-LT 和 ImageNet127 在内的多个基准上超越先前的最优方法，解决了半监督学习中的类不平衡挑战。我们的代码可在 https://github.com/emasa/ADELLO-LTSSL 获取。
引用
@article{arxiv.2306.04621,
title = {Flexible Distribution Alignment: Towards Long-tailed Semi-supervised Learning with Proper Calibration},
author = {Emanuel Sanchez Aimar and Nathaniel Helgesen and Yonghao Xu and Marco Kuhlmann and Michael Felsberg},
journal= {arXiv preprint arXiv:2306.04621},
year = {2024}
}
备注
Accepted at ECCV2024, 25 pages, 6 figures