利用拓扑先验的图卷积记忆
机器学习
2021-10-11 v2 人工智能
机器人学
摘要
在将强化学习应用于真实世界问题时,智能体对世界的观测不完整,因此求解部分可观测马尔可夫决策过程(POMDPs)至关重要。我们提出图卷积记忆(GCM),这是首个利用强化学习求解POMDPs的混合记忆模型。GCM使用人工定义或数据驱动的拓扑先验来形成图邻域,并通过动态规划将其组合为更大的网络拓扑。我们使用图卷积查询该图,将相关记忆合并为依赖于上下文的信念。在无人工先验时,GCM性能与最先进方法相近。在使用人工先验时,GCM在控制、记忆和导航任务上以显著更少的参数优于这些方法。
引用
@article{arxiv.2106.14117,
title = {Graph Convolutional Memory using Topological Priors},
author = {Steven D. Morad and Stephan Liwicki and Ryan Kortvelesy and Roberto Mecca and Amanda Prorok},
journal= {arXiv preprint arXiv:2106.14117},
year = {2021}
}