理解与改进投影头在自监督学习中的作用
机器学习
2022-12-23 v1 计算机视觉与模式识别
摘要
自监督学习(SSL)旨在无需任何人工标注数据的情况下产生有用的特征表示。由于近期基于对比学习的SSL方法(如SimCLR)的成功，该问题已受到广泛关注。当前大多数对比学习方法在一些骨干网络末端附加参数化投影头以优化InfoNCE目标，然后在训练后丢弃所学投影头。这引发了一个基本问题：如果要在训练后丢弃，为何还需要可学习的投影头？在本工作中，我们首先对SSL训练的行为进行系统性研究，聚焦于投影头层的作用。通过将投影头表述为InfoNCE目标的参数化组件而非网络的一部分，我们提出了一种训练基于对比学习的SSL框架的替代优化方案。我们在多个图像分类数据集上的实验研究证明了所提方法相对于SSL文献中其他方案的有效性。
引用
@article{arxiv.2212.11491,
title = {Understanding and Improving the Role of Projection Head in Self-Supervised Learning},
author = {Kartik Gupta and Thalaiyasingam Ajanthan and Anton van den Hengel and Stephen Gould},
journal= {arXiv preprint arXiv:2212.11491},
year = {2022}
}