深度强化学习中的预训练：综述
机器学习
2022-11-09 v1 人工智能
摘要
过去几年，强化学习（RL）与深度学习的结合取得了快速进展。从游戏到机器人的各种突破激发了设计复杂 RL 算法与系统的兴趣。然而，RL 中流行的工作流是从零开始（tabula rasa）学习，这可能带来计算低效。这阻碍了 RL 算法的持续部署，并可能将缺乏大规模计算资源的研究者排除在外。在机器学习的许多其他领域，预训练范式已被证明在获取可迁移知识方面有效，这些知识可用于各种下游任务。最近，我们看到了深度 RL 预训练的兴趣激增，并取得了有前景的结果。然而，许多研究基于不同的实验设置。由于 RL 的性质，该领域的预训练面临独特挑战，因此需要新的设计原则。在本综述中，我们力求系统回顾深度强化学习预训练的现有工作，提供这些方法的一个分类体系，讨论每个子领域，并引起对开放问题与未来方向的关注。
引用
@article{arxiv.2211.03959,
title = {Pretraining in Deep Reinforcement Learning: A Survey},
author = {Zhihui Xie and Zichuan Lin and Junyou Li and Shuai Li and Deheng Ye},
journal= {arXiv preprint arXiv:2211.03959},
year = {2022}
}