熵与重构在多视图自监督学习中的作用
机器学习
2023-12-12 v2
摘要
多视图自监督学习（MVSSL）成功背后的机制尚未被完全理解。对比式 MVSSL 方法已通过 InfoNCE（互信息（MI）的一个下界）的视角被研究。然而，其他 MVSSL 方法与 MI 的关系仍不清楚。我们考虑 MI 的一个由熵与重构项（ER）组成的不同的下界，并透过其视角分析主要的 MVSSL 族。通过该 ER 界，我们表明基于聚类的方法如 DeepCluster 和 SwAV 最大化了 MI。我们也重新解释了基于蒸馏的方法如 BYOL 和 DINO 的机制，显示它们显式最大化重构项并隐式鼓励稳定的熵，且我们通过实验证实了这一点。我们表明，用该 ER 界替换常见 MVSSL 方法的目标函数可获得有竞争力的性能，同时使它们在以更小批量大小或更小指数移动平均（EMA）系数训练时保持稳定。Github 仓库：https://github.com/apple/ml-entropy-reconstruction。
引用
@article{arxiv.2307.10907,
title = {The Role of Entropy and Reconstruction in Multi-View Self-Supervised Learning},
author = {Borja Rodríguez-Gálvez and Arno Blaas and Pau Rodríguez and Adam Goliński and Xavier Suau and Jason Ramapuram and Dan Busbridge and Luca Zappella},
journal= {arXiv preprint arXiv:2307.10907},
year = {2023}
}
备注
18 pages: 9 of main text, 2 of references, and 7 of supplementary material [Updated typo in page 6 (Section 3.2)]. Appears in the proceedings of ICML 2023