谱谐波：在自监督学习中桥接谱嵌入与矩阵补全
机器学习
2023-10-31 v2
摘要
自监督方法因其看似启发式地学习尊重数据语义的表示而无需任何标签形式的显式监督，受到了极大的关注。已有越来越多的文献试图对现代自监督表示学习方法中所用各类损失函数建立一个连贯且理论扎实的理解。在本文中，我们试图从拉普拉斯算子的视角提供这样一种理解，并将源于数据增强过程的归纳偏置与一个低秩矩阵补全问题联系起来。为此，我们利用低秩矩阵补全的结果，对现代SSL方法的收敛性及其影响下游性能的一个关键性质提供理论分析。
引用
@article{arxiv.2305.19818,
title = {Spectal Harmonics: Bridging Spectral Embedding and Matrix Completion in Self-Supervised Learning},
author = {Marina Munkhoeva and Ivan Oseledets},
journal= {arXiv preprint arXiv:2305.19818},
year = {2023}
}
备注
12 pages, 3 figures