论自监督学习的普适性
机器学习
2025-05-19 v5 人工智能
摘要
本文研究在自监督学习（SSL）中什么构成了良好的表示或模型。我们认为良好的表示应具备普适性，其特征为三个基本属性：判别性、泛化性和迁移性。尽管这些能力在大多数 SSL 框架中被隐含期望，但现有方法缺乏对普适性的显式建模，其理论基础仍有待深入探索。为弥补这些不足，我们提出了 General SSL（GeSSL），这是一个新颖的框架，从三个互补维度显式建模普适性：优化目标、参数更新机制和学习范式。GeSSL 集成了双层优化结构，联合建模任务特定适应性和跨任务一致性，从而在统一的 SSL 目标内捕获普适性的所有三个方面。此外，我们推导了理论泛化界，确保 GeSSL 的优化过程始终能够产生对未见任务具有良好泛化能力的表示。在多个基准数据集上的实验结果表明，GeSSL 在各种下游任务中始终取得卓越性能，验证了其在建模普适表示方面的有效性。
引用
@article{arxiv.2405.01053,
title = {On the Universality of Self-Supervised Learning},
author = {Wenwen Qiang and Jingyao Wang and Changwen Zheng and Hui Xiong and Gang Hua},
journal= {arXiv preprint arXiv:2405.01053},
year = {2025}
}