利用对比初始化改进自监督模型的微调
计算机视觉与模式识别
2022-08-02 v1
摘要
自监督学习(SSL)在预训练模型方面取得了显著性能，这些模型可通过微调进一步用于下游任务。然而，由于同一类别的图像在对比损失中总是被视为负样本对，这些自监督模型可能无法捕捉有意义的语义信息。因此，同一类别的图像在学到的特征空间中往往彼此相距甚远，这不可避免地会妨碍微调过程。为解决此问题，我们旨在通过增强语义信息为自监督模型提供更好的初始化。为此，我们提出了一种对比初始化(COIN)方法，该方法通过在微调前引入一个额外的初始化阶段，打破了标准的微调流程。大量实验表明，借助丰富的语义信息，我们的COIN在不引入额外训练成本的情况下显著优于现有方法，并在多个下游任务上刷新了最优性能(state-of-the-art)。
引用
@article{arxiv.2208.00238,
title = {Improving Fine-tuning of Self-supervised Models with Contrastive Initialization},
author = {Haolin Pan and Yong Guo and Qinyi Deng and Haomin Yang and Yiqun Chen and Jian Chen},
journal= {arXiv preprint arXiv:2208.00238},
year = {2022}
}
备注
22 pages, 4 figures