Palm up：在潜流形中游玩以进行无监督预训练
机器学习
2022-10-25 v2 人工智能
摘要
大型且多样的数据集一直是人工智能诸多显著进展的基石。然而，智能生物通过与环境交互来学习，这会改变输入感知信号并改变环境状态。本文旨在兼取两者之长，提出一种在利用大型多样数据集的同时表现出探索行为的算法。我们的核心思想是借助在静态数据集上预训练的深度生成模型，并在潜空间引入动态模型。该转移动态简单地将动作与随机采样的潜变量混合，随后应用指数移动平均以实现时间持续性，所得潜变量经预训练生成器解码为图像。我们继而采用无监督强化学习算法在该环境中探索，并对收集的数据进行无监督表征学习。我们进一步利用该数据的时间信息将数据点配对，作为表征学习的自然监督。实验表明，所学表征可成功迁移至视觉与强化学习领域的下游任务。
引用
@article{arxiv.2210.10913,
title = {Palm up: Playing in the Latent Manifold for Unsupervised Pretraining},
author = {Hao Liu and Tom Zahavy and Volodymyr Mnih and Satinder Singh},
journal= {arXiv preprint arXiv:2210.10913},
year = {2022}
}
备注
Thirty-sixth Conference on Neural Information Processing Systems (NeurIPS 2022)