自监督学习模型的几何性质及其对迁移学习的影响
机器学习
2022-09-20 v1
摘要
自监督学习(SSL)已成为计算机视觉中一种理想的范式,因为监督模型无法在标签有限的领域中学习到可泛化的表示。SSL近期的流行促使多种模型被开发出来,它们采用了不同的训练策略、架构和数据增强策略,但目前尚无统一的框架来研究或评估它们在迁移学习中的有效性。我们提出了一种数据驱动的几何策略,利用各模型所诱导的特征空间中的局部邻域来分析不同的SSL模型。与现有考虑参数、单个组件或优化景观的数学近似的方法不同,我们的工作旨在探索SSL模型所学到的表示流形的几何性质。我们提出的流形图度量(MGMs)揭示了现有SSL模型之间的几何相似性与差异、它们对特定增强的不变性,以及它们在迁移学习任务上的表现。我们的关键发现有两方面:(i) 与普遍看法相反,SSL模型的几何性质并不依赖于其训练范式(对比式、非对比式和基于聚类的);(ii) 我们可以基于其语义流形和增强流形的几何性质来预测特定模型的迁移学习能力。
引用
@article{arxiv.2209.08622,
title = {The Geometry of Self-supervised Learning Models and its Impact on Transfer Learning},
author = {Romain Cosentino and Sarath Shekkizhar and Mahdi Soltanolkotabi and Salman Avestimehr and Antonio Ortega},
journal= {arXiv preprint arXiv:2209.08622},
year = {2022}
}
备注
22 pages