EgoMap：用于深度强化学习的投影映射与结构化自我中心记忆
机器学习
2020-02-10 v2 人工智能
摘要
在部分可观测的三维环境中涉及定位、记忆与规划的任务，是深度强化学习中的一个持续挑战。我们提出 EgoMap，一种空间结构化神经记忆架构。EgoMap 在具有多步目标的困难三维环境任务中提升了深度强化学习智能体的性能。EgoMap 架构融入了若干归纳偏置，包括将 CNN 特征向量可微逆投影到自上而下的空间结构化地图上。该地图通过可微仿射变换利用自我运动测量进行更新。我们表明该架构优于标准循环智能体以及具有结构化记忆的当前最优智能体。我们证明将这些归纳偏置纳入智能体架构中，可仅依靠奖励实现稳定训练，从而规避获取和标注专家轨迹的开销。详细的消融研究展示了架构关键方面的影响，并通过广泛的定性分析，我们展示了智能体如何利用其结构化内部记忆来实现更高性能。
引用
@article{arxiv.2002.02286,
title = {EgoMap: Projective mapping and structured egocentric memory for Deep RL},
author = {Edward Beeching and Christian Wolf and Jilles Dibangoye and Olivier Simonin},
journal= {arXiv preprint arXiv:2002.02286},
year = {2020}
}