糟糕的批次:通过代表性批次筛选增强图像分类中的自监督学习
计算机视觉与模式识别
2024-03-29 v1
摘要
在没有人类监督的情况下学习鲁棒表示是一个长期存在的挑战。近期在自监督对比学习方法上的进展在各种表示学习挑战中展现出了高性能。然而,当前的方法依赖于训练样本的随机变换,导致在某些情况下产生不具有代表性的正样本对,这可能对学习产生很大影响。这一局限性不仅阻碍了学习过程的收敛和所学表示的鲁棒性,还需要更大的批次大小以提高对此类糟糕批次的鲁棒性。本文试图通过 Fréchet ResNet Distance (FRD) 进行成对相似性计算来减轻假正例和假负例对的影响,从而从无标签数据中获得鲁棒的表示。实证结果证实了所提方法的有效性,其中在自监督对比表示上训练的线性分类器在 STL10 上达到了令人印象深刻的 87.74% 的 top-1 准确率,在 Flower102 数据集上达到了 99.31%。这些结果强调了所提方法在推动自监督对比学习(特别是图像分类任务)领域最先进技术边界方面的潜力。
引用
@article{arxiv.2403.19579,
title = {The Bad Batches: Enhancing Self-Supervised Learning in Image Classification Through Representative Batch Curation},
author = {Ozgu Goksu and Nicolas Pugeault},
journal= {arXiv preprint arXiv:2403.19579},
year = {2024}
}
备注
8 Pages, 4 figures, IEEE WCCI 2024 Conference