PLOTS：利用子任务结构从观测中进行过程学习
机器学习
2019-04-22 v1 多智能体系统
机器学习
摘要
在许多情况下，智能体可能希望学习如何模仿单个观察到的演示轨迹。在这项工作中，我们考虑如何执行这种从观测中进行的过程学习，这有助于使智能体更好地利用关于观测序列的大量视频数据。我们的方法利用该设置的特性，逐步构建可产生所需子序列的开环动作计划，并且可用于马尔可夫和部分可观测马尔可夫域。此外，过程通常涉及重复的扩展时间动作子序列。我们的方法乐观地探索动作以利用过程中潜在的重复结构。与一些最先进的方法相比，我们发现我们显式的从观测中进行过程学习的方法比学习随机策略的基于策略梯度的方法快约 100 倍，并且也比基于模型的方法更快。我们还发现，当存在潜在动力学结构时，执行乐观动作选择会产生显著的加速。
引用
@article{arxiv.1904.09162,
title = {PLOTS: Procedure Learning from Observations using Subtask Structure},
author = {Tong Mu and Karan Goel and Emma Brunskill},
journal= {arXiv preprint arXiv:1904.09162},
year = {2019}
}
备注
To appear in the proceedings of AAMAS 2019