深度无监督对比学习中端到端训练的收敛性
机器学习
2021-06-01 v3 机器学习
摘要
无监督对比学习在近期研究中受到越来越多的关注，并已被证明是一种从未标注数据中学习表征的有力方法。然而，针对该框架的理论分析鲜有已知。本文中，我们研究深度无监督对比学习的优化问题。我们证明，通过应用同时更新两个深度过参数化神经网络的端到端训练，可以为非凸对比损失找到一个近似驻点解。该结果本质上不同于监督设定下已有的过参数化分析，因为与学习特定目标函数不同，无监督对比学习试图将未标注数据分布编码进神经网络，这通常不存在最优解。我们的分析为这些无监督预训练方法的实际成功提供了理论见解。
引用
@article{arxiv.2002.06979,
title = {Convergence of End-to-End Training in Deep Unsupervised Contrastive Learning},
author = {Zixin Wen},
journal= {arXiv preprint arXiv:2002.06979},
year = {2021}
}