MSR：使自监督学习对激进增强具有鲁棒性
计算机视觉与模式识别
2022-06-07 v1 机器学习
摘要
大多数近期的自监督学习（SSL）方法通过对比图像的不同增强视图来学习视觉表征。与监督学习相比，引入了更激进的增强以进一步提高训练对的多样性。然而，激进增强可能扭曲图像结构，导致严重的语义偏移问题，即同一图像的不同增强视图可能不共享相同语义，从而降低迁移性能。为解决该问题，我们提出一种新的 SSL 范式，通过平衡弱增强对与激进增强对的作用来抵消语义偏移的影响。具体而言，语义不一致的对占少数，我们将其视为噪声对。注意到深度神经网络（DNNs）具有关键的记忆效应，即 DNNs 倾向于先记忆干净（多数）样本，然后再过拟合噪声（少数）样本。因此，我们在学习早期阶段为激进增强数据对设置较大权重。随着训练进行，模型开始过拟合噪声对。相应地，我们逐步降低激进增强对的权重。如此，我们的方法能更好地利用激进增强并中和语义偏移问题。实验表明，我们的模型在 ImageNet-1K 上用 ResNet-50 训练 200 个 epoch 取得 73.1% 的 top-1 准确率，比 BYOL 提高 2.5%。此外，实验还表明所学表征能很好地迁移至各类下游任务。
引用
@article{arxiv.2206.01999,
title = {MSR: Making Self-supervised learning Robust to Aggressive Augmentations},
author = {Yingbin Bai and Erkun Yang and Zhaoqing Wang and Yuxuan Du and Bo Han and Cheng Deng and Dadong Wang and Tongliang Liu},
journal= {arXiv preprint arXiv:2206.01999},
year = {2022}
}