方差-不变性-协方差正则化的信息论视角
信息论
2024-05-03 v4 人工智能
math.IT
摘要
方差-不变性-协方差正则化（VICReg）是一种自监督学习（SSL）方法，在多种任务上展现出了有前景的结果。然而，VICReg 背后的基本机制仍未被探索。在本文中，我们提出了一种关于 VICReg 目标函数的信息论视角。我们首先为确定性网络推导信息论量，作为对不现实的随机网络假设的替代。然后我们将 VICReg 目标的优化与互信息优化联系起来，突出潜在假设并促进与其他 SSL 算法的建设性比较，且推导了 VICReg 的泛化界，揭示了其对下游任务的固有优势。基于这些结果，我们引入了一类源自信息论原理的 SSL 方法，其性能优于现有的 SSL 技术。
引用
@article{arxiv.2303.00633,
title = {An Information-Theoretic Perspective on Variance-Invariance-Covariance Regularization},
author = {Ravid Shwartz-Ziv and Randall Balestriero and Kenji Kawaguchi and Tim G. J. Rudner and Yann LeCun},
journal= {arXiv preprint arXiv:2303.00633},
year = {2024}
}