锐度与偏移感知的自监督学习
机器学习
2023-05-18 v1 计算机视觉与模式识别
摘要
自监督学习旨在从无标签数据中提取有意义的特征，以用于后续的下游任务。在本文中，我们将分类作为第二阶段的下游任务，并发展了严格的理论来揭示隐式影响该分类任务一般损失的因素。我们的理论表明，锐度感知特征提取器有利于第二阶段的分类任务，并且理想分布（即理论发展中使用的理想分布）与实际分布（即实现中使用的实际分布）之间用于生成正样本对的现有数据偏移也显著影响该分类任务。进一步利用这些理论发现，我们提出最小化特征提取器的锐度，并提出一种新的基于傅里叶的数据增强技术，以缓解生成正样本对分布中的数据偏移，从而得到锐度与偏移感知对比学习（SSA-CLR）。我们进行了广泛的实验来验证我们的理论发现，并证明与基线相比，锐度与偏移感知对比学习可以显著提升性能并获得更鲁棒的提取特征。
引用
@article{arxiv.2305.10252,
title = {Sharpness & Shift-Aware Self-Supervised Learning},
author = {Ngoc N. Tran and Son Duong and Hoang Phan and Tung Pham and Dinh Phung and Trung Le},
journal= {arXiv preprint arXiv:2305.10252},
year = {2023}
}