逆向工程自监督学习
机器学习
2023-06-01 v2 人工智能
摘要
自监督学习（SSL）是机器学习中的有力工具，但理解所学表征及其底层机制仍具挑战。本文对 SSL 训练的表征进行了深入实证分析，涵盖多种模型、架构与超参数。我们的研究揭示了 SSL 训练过程中一个引人入胜的方面：它固有地促进了样本依据语义标签的聚类，而这令人惊讶地由 SSL 目标的正则化项所驱动。该聚类过程不仅提升了下游分类，还压缩了数据信息。此外，我们确认 SSL 训练的表征与语义类别而非随机类别更为对齐。值得注意的是，我们展示了所学表征在不同层级上与语义类别对齐，且这种对齐在训练过程中以及向网络更深层移动时增强。我们的发现为 SSL 的表征学习机制及其在不同类别集上性能的影响提供了宝贵见解。
引用
@article{arxiv.2305.15614,
title = {Reverse Engineering Self-Supervised Learning},
author = {Ido Ben-Shaul and Ravid Shwartz-Ziv and Tomer Galanti and Shai Dekel and Yann LeCun},
journal= {arXiv preprint arXiv:2305.15614},
year = {2023}
}