通过刻画理想化表示改进自监督学习
机器学习
2022-12-13 v2 机器学习
摘要
尽管自监督学习（SSL）方法在经验上取得了成功，但尚不清楚其表示的哪些特性带来了较高的下游准确率。在这项工作中，我们刻画了 SSL 表示理想情况下应满足的性质。具体而言，我们证明了充分必要条件：对于任意对给定数据增强不变的 task，在该表示上训练的期望探针（例如线性或 MLP）能达到完美准确率。这些要求为改进现有 SSL 方法和推导新方法提供了一个统一的概念框架。对于对比学习，我们的框架对先前方法提出了简单但显著的改进，例如使用非对称投影头。对于非对比学习，我们利用我们的框架推导了一个简单且新颖的目标函数。我们得到的 SSL 算法在标准基准上优于基线，包括在 ImageNet 线性探测上的 SwAV+multicrops。
引用
@article{arxiv.2209.06235,
title = {Improving Self-Supervised Learning by Characterizing Idealized Representations},
author = {Yann Dubois and Tatsunori Hashimoto and Stefano Ermon and Percy Liang},
journal= {arXiv preprint arXiv:2209.06235},
year = {2022}
}
备注
Accepted at NeurIPS 2022