基于原型表示的强化学习
机器学习
2021-07-21 v2 人工智能
摘要
在基于图像的环境中学习有效表示对于样本高效的强化学习（RL）至关重要。不幸的是，在RL中，表示学习受到智能体探索经验的干扰——学习有用的表示需要多样的数据，而有效的探索只有在具备连贯的表示时才有可能。此外，我们希望学习到的表示不仅能跨任务泛化，还能加速下游探索以实现高效的任务特定训练。为应对这些挑战，我们提出Proto-RL，一种通过原型表示将表示学习与探索联系起来的自监督框架。这些原型同时作为智能体探索经验的概括以及表示观测的基础。我们在无下游任务信息的环境中预训练这些任务无关的表示与原型。这使得在一系列困难的连续控制任务上实现了最先进的下游策略学习。
引用
@article{arxiv.2102.11271,
title = {Reinforcement Learning with Prototypical Representations},
author = {Denis Yarats and Rob Fergus and Alessandro Lazaric and Lerrel Pinto},
journal= {arXiv preprint arXiv:2102.11271},
year = {2021}
}