方差协方差正则化在自监督表示中强制成对独立性
机器学习
2024-02-15 v2
摘要
VICReg、Barlow Twins或W-MSE等自监督学习（SSL）方法通过约束或正则化其投影器输出的协方差矩阵来避免联合嵌入架构的坍缩。本研究强调了此类策略的重要性质，我们称之为方差协方差正则化（VCReg）。更确切地说，我们证明将VCReg与MLP投影器结合可强制所学表示特征间的成对独立性。该结果通过将作用于投影器输出的VCReg与作用于投影器输入的核独立性准则相桥接而得出。我们通过实验验证我们的发现，其中（i）我们阐明了投影器的哪些特性有利于成对独立性，（ii）我们证明成对独立性有益于域外泛化，（iii）我们证明VCReg的适用范围超越SSL，可将其用于求解独立分量分析。这为SSL中MLP投影器提供了首个理论动机与解释。
引用
@article{arxiv.2209.14905,
title = {Variance Covariance Regularization Enforces Pairwise Independence in Self-Supervised Representations},
author = {Grégoire Mialon and Randall Balestriero and Yann LeCun},
journal= {arXiv preprint arXiv:2209.14905},
year = {2024}
}