不变性适配分解与 Lasso 型对比学习
机器学习
2022-10-17 v1 机器学习
摘要
近年来,对比学习在获取对解释与下游任务有用的数据集表示方面已显现成效。然而,描述该成效的机制尚未被透彻分析,且许多研究致力于探究对比学习所捕获的数据结构。特别地,\citet{content_isolate} 的近期研究已表明,对比学习能够将数据空间分解为对所有增广不变的空间及其补空间。本文中,我们引入不变性适配潜空间的概念,将数据空间分解为各增广不变空间的交集及其补空间。该分解推广了 \citet{content_isolate} 提出的分解,并描述了一种类似于群调和分析中频率的结构。我们通过实验表明,采用 lasso 型度量的对比学习可用于寻找不变性适配潜空间,从而提示对比学习的一种新潜力。我们还研究了此类潜空间在何时能够各分量内部混合前被辨识。
引用
@article{arxiv.2210.07413,
title = {Invariance-adapted decomposition and Lasso-type contrastive learning},
author = {Masanori Koyama and Takeru Miyato and Kenji Fukumizu},
journal= {arXiv preprint arXiv:2210.07413},
year = {2022}
}