自洽轨迹自编码器：基于轨迹嵌入的层次强化学习
机器学习
2018-06-08 v1 人工智能
机器学习
摘要
在这项工作中，我们从表示学习的视角看待层次强化学习，将学习层次中低层的问题转化为学习轨迹级生成模型的问题。我们展示了可以学习轨迹的连续潜在表示，其在解决时间扩展和多阶段问题中是有效的。我们提出的模型 SeCTAR 从变分自编码器中获得灵感，学习轨迹的潜在表示。该方法的一个关键组件是学习彼此一致的潜在条件策略与潜在条件模型。给定相同的潜在变量，策略生成的轨迹应与模型预测的轨迹相匹配。该模型通过预测闭环策略行为的结果，提供了内置的预测机制。我们提出了一种利用该模型进行层次强化学习的新算法，将所学潜在空间中的基于模型的规划与无监督探索目标相结合。我们展示了我们的模型在多个模拟任务中能有效地在稀疏奖励下对长时域进行推理，优于标准强化学习方法以及先前的层次推理、基于模型的规划和探索方法。
引用
@article{arxiv.1806.02813,
title = {Self-Consistent Trajectory Autoencoder: Hierarchical Reinforcement Learning with Trajectory Embeddings},
author = {John D. Co-Reyes and YuXuan Liu and Abhishek Gupta and Benjamin Eysenbach and Pieter Abbeel and Sergey Levine},
journal= {arXiv preprint arXiv:1806.02813},
year = {2018}
}
备注
Accepted at ICML 2018