对比学习在特征学习中的力量：理论分析
机器学习
2023-12-21 v4 机器学习
摘要
对比学习在各种自监督学习任务中取得了最先进的性能，甚至优于其监督对应方法。尽管取得了经验上的成功，对对比学习优越性的理论理解仍然有限。在本文中，在线性表示设定下，(i) 我们可证明地表明，对于特征恢复和域内下游任务，对比学习优于标准的自编码器和生成对抗网络这两种经典生成式无监督学习方法；(ii) 我们也阐明了监督对比学习中标注数据的影响。这为近期发现提供了理论支持：带标签的对比学习改善了域内下游任务中习得表示的性能，但可能损害迁移学习中的性能。我们通过数值实验验证了我们的理论。
引用
@article{arxiv.2110.02473,
title = {The Power of Contrast for Feature Learning: A Theoretical Analysis},
author = {Wenlong Ji and Zhun Deng and Ryumei Nakada and James Zou and Linjun Zhang},
journal= {arXiv preprint arXiv:2110.02473},
year = {2023}
}
备注
78 pages, accepted by JMLR