BaCon：通过平衡特征级对比学习提升不平衡半监督学习
计算机视觉与模式识别
2024-07-15 v2 机器学习
摘要
半监督学习（SSL）减少了深度学习中大量标注的需求，但不平衡数据分布在 SSL 中的挑战仍基本未被探索。在类别不平衡半监督学习（CISSL）中，由不可靠伪标签引入的偏差会因数据分布不平衡而加剧。大多数现有方法通过重加权或重抽样在实例级别上解决此问题，但其性能受限于对偏置 backbone representation 的依赖。另一些方法进行特征级调整，如特征混合，但可能引入不利的噪声。在本文中，我们讨论了更平衡的特征分布对 CISSL 问题的加成作用，并进一步提出了基于平衡特征级对比学习的方法（BaCon）。该方法直接以 well-designed 的方式对实例表示的分布进行正则化。具体而言，计算 class-wise 特征中心作为正锚点，而负锚点通过一种直观而有效的机制选择。借助与分布相关的温度调整，动态控制 class-wise 对比程度。我们的方法通过在 CIFAR10-LT、CIFAR100-LT、STL10-LT 和 SVHN-LT 数据集上进行全面实验来展示其有效性。在 various 设置下，例如 BaCon 在 CIFAR10-LT 上比基于 FixMatch 的 ABC 实例级方法提高了 1.21% 的准确率，优于 CIFAR100-LT 上最先进的特征级方法 CoSSL 提高了 0.63% 的准确率。当面对更极端的不平衡程度时，BaCon 也显示出比其他方法更好的鲁棒性。
引用
@article{arxiv.2403.12986,
title = {BaCon: Boosting Imbalanced Semi-supervised Learning via Balanced Feature-Level Contrastive Learning},
author = {Qianhan Feng and Lujing Xie and Shijie Fang and Tong Lin},
journal= {arXiv preprint arXiv:2403.12986},
year = {2024}
}
备注
Accpeted paper of AAAI2024