关于 Barlow Twins 与无负样本对比学习的联系的一点注记
机器学习
2021-04-29 v1
摘要
在本报告中，我们将 Barlow Twins 方法的算法设计与 Hilbert-Schmidt 独立性准则（HSIC）相联系，从而将其确立为一种无负样本的对比学习方法。通过这一视角，我们认为 Barlow Twins（以及此类无负样本对比学习方法）暗示了弥合自监督学习两大哲学流派——非对比与对比方法——的可能性。具体而言，Barlow Twins 示范了如何结合两方面的优秀实践：避免大训练批次与负样本配对之需（如非对比方法），以及避免对称破缺网络设计（如对比方法）。
引用
@article{arxiv.2104.13712,
title = {A Note on Connecting Barlow Twins with Negative-Sample-Free Contrastive Learning},
author = {Yao-Hung Hubert Tsai and Shaojie Bai and Louis-Philippe Morency and Ruslan Salakhutdinov},
journal= {arXiv preprint arXiv:2104.13712},
year = {2021}
}