PAC-Bayesian 对比无监督表示学习
机器学习
2020-07-20 v4 统计理论
机器学习
统计理论
摘要
对比无监督表示学习（CURL）是从无标签数据中学习表示（作为一组特征）的最先进（SOTA）技术。尽管 CURL 最近取得了若干经验性成功，对其性能的理论理解仍然缺失。在最近的一项工作中，Arora 等人（2019）提供了首个针对 CURL 的泛化界，依赖于 Rademacher 复杂度。我们将他们的框架扩展到灵活的 PAC-Bayes 设定，使我们能够处理非独立同分布设定。我们给出了 CURL 的 PAC-Bayes 泛化界，随后用于推导一种新的表示学习算法。在真实数据集上的数值实验表明，我们的算法取得了有竞争力的准确率，并给出了非平凡的泛化界。
引用
@article{arxiv.1910.04464,
title = {PAC-Bayesian Contrastive Unsupervised Representation Learning},
author = {Kento Nozawa and Pascal Germain and Benjamin Guedj},
journal= {arXiv preprint arXiv:1910.04464},
year = {2020}
}
备注
Published in the proceedings of the Conference on Uncertainty in Artificial Intelligence 2020 (UAI)