基于潜变量模型的连续控制高效迁移学习与在线自适应
机器学习
2018-12-11 v1 机器学习
摘要
传统的基于模型的强化学习（RL）依赖于手工指定或学习得到的环境转移动力学模型。这些方法样本高效且有助于在真实世界中学习，但无法泛化到潜在动力学的细微变化，例如由于不同机器人智能体之间或随时间产生的质量、摩擦或执行器差异。我们提出使用变分推断学习未知环境属性的显式潜表示，以加速学习并在测试时促进对新环境的泛化。我们使用这些学习到的潜变量的在线贝叶斯推断，无需保留近期数据的大型回放缓冲区即可快速在线适应环境变量变化。结合一个对动力学建模并捕获动力学不确定性的神经网络集成，我们的方法在连续控制任务 HalfCheetah 上展示了训练期间的正向迁移与在线自适应。
引用
@article{arxiv.1812.03399,
title = {Efficient transfer learning and online adaptation with latent variable models for continuous control},
author = {Christian F. Perez and Felipe Petroski Such and Theofanis Karaletsos},
journal= {arXiv preprint arXiv:1812.03399},
year = {2018}
}
备注
Presented at Continual Learning Workshop, NeurIPS 2018, Montreal, Canada. 5 pages, 4 figures