基于对比预测编码的表示学习
机器学习
2019-01-23 v2 机器学习
摘要
尽管监督学习在许多应用中取得了巨大进展，无监督学习尚未得到如此广泛的采用，并且仍是人工智能领域中重要且富有挑战性的课题。在这项工作中，我们提出了一种通用的无监督学习方法来从高维数据中提取有用的表示，称之为对比预测编码（Contrastive Predictive Coding）。我们模型的关键见解是通过使用强大的自回归模型在潜空间预测未来，从而学习此类表示。我们采用概率对比损失，促使潜空间捕获对预测未来样本最有用的信息。该损失还通过负采样使模型易于处理。尽管大多数先前工作聚焦于评估特定模态下的表示，我们证明了我们的方法能够学习有用的表示，并在四个不同领域取得强劲性能：语音、图像、文本以及三维环境中的强化学习。
引用
@article{arxiv.1807.03748,
title = {Representation Learning with Contrastive Predictive Coding},
author = {Aaron van den Oord and Yazhe Li and Oriol Vinyals},
journal= {arXiv preprint arXiv:1807.03748},
year = {2019}
}