同态自监督学习
机器学习
2022-11-16 v1 人工智能
摘要
在本工作中，我们观察到许多现有的自监督学习算法若从等变表示的视角来看，既可以被统一也可以被推广。具体而言，我们引入了一个称为同态自监督学习（Homomorphic Self-Supervised Learning）的通用框架，并从理论上证明了在提供增强同态特征提取器的前提下，该框架可涵盖输入增强的使用。我们通过简单增强实验验证了该理论，展示了当表示结构被移除时该框架如何失效，并进一步通过经验探索了该框架的参数与传统基于增强的自监督学习参数之间的关系。最后，我们讨论了这一自监督学习新视角所带来的潜在益处。
引用
@article{arxiv.2211.08282,
title = {Homomorphic Self-Supervised Learning},
author = {T. Anderson Keller and Xavier Suau and Luca Zappella},
journal= {arXiv preprint arXiv:2211.08282},
year = {2022}
}