我们在自监督学习中最大化什么？
机器学习
2022-07-22 v1 人工智能
摘要
在本文中，我们考察自监督学习方法，特别是 VICReg，以从其构造上提供信息论的理解。作为第一步，我们展示了如何为确定性网络获得信息论量，这为依赖随机模型的先前工作提供了一种可能的替代方案。这使我们能够展示 VICReg 如何能从第一性原理及其关于数据分布的假设中（重新）被发现。此外，我们通过实证验证了我们所设假设的有效性，确认了我们对 VICReg 的新理解。最后，我们相信所获得的推导与见解可推广至许多其他 SSL 方法，为 SSL 与迁移学习的理论与实际理解开辟新途径。
引用
@article{arxiv.2207.10081,
title = {What Do We Maximize in Self-Supervised Learning?},
author = {Ravid Shwartz-Ziv and Randall Balestriero and Yann LeCun},
journal= {arXiv preprint arXiv:2207.10081},
year = {2022}
}