SSL 的相互作用：数据增强、归纳偏置与泛化
机器学习
2023-06-02 v2 人工智能
机器学习
统计理论
统计理论
摘要
自监督学习 (Self-supervised learning, SSL) 已成为一种强大的框架，能够在无监督的情况下从原始数据中学习表示。然而在实际应用中，工程师面临着诸如优化器调参不稳定以及训练过程中表示坍塌等问题。这些挑战促使需要一种理论来阐明数据增强选择、网络架构与训练算法之间复杂的相互作用。我们在一个理论友好的设置中研究了这种相互作用，精确分析了预训练与下游任务的泛化性能，并强调了由我们的理论为 SSL 从业者带来的若干见解。
引用
@article{arxiv.2302.02774,
title = {The SSL Interplay: Augmentations, Inductive Bias, and Generalization},
author = {Vivien Cabannes and Bobak T. Kiani and Randall Balestriero and Yann LeCun and Alberto Bietti},
journal= {arXiv preprint arXiv:2302.02774},
year = {2023}
}