迈向心理时间旅行：一种面向强化学习智能体的分层记忆
机器学习
2021-12-09 v3 人工智能
神经与进化计算
摘要
强化学习智能体常常遗忘过去的细节，尤其是在经历延迟或干扰任务之后。具有常见记忆架构的智能体难以回忆并整合过去事件的多个时间步，甚至难以回忆被干扰任务紧随其后的单个时间步的细节。为应对这些局限，我们提出了一种分层块注意力记忆（HCAM），它帮助智能体详细地记住过去。HCAM 通过将过去划分为块来存储记忆，并通过先对块的粗略摘要执行高层注意力，然后仅在最相关的块内执行细致注意力来进行回忆。因此，具有 HCAM 的智能体可以“心理时间旅行”——详细回忆过去事件而无需关注所有中间事件。我们表明，在需要长期回忆、保持或基于记忆推理的任务上，具有 HCAM 的智能体大幅优于具有其他记忆架构的智能体。这些任务包括回忆物体隐藏在 3D 环境中的位置、快速学习在新街区中高效导航，以及快速学习并记住新物体名称。具有 HCAM 的智能体可以外推到远比训练时更长的任务序列，甚至能从元学习设定零样本泛化到跨回合保持知识。HCAM 提升了智能体的样本效率、泛化性与通用性（通过解决先前需要专门架构的任务）。我们的工作是朝向能在复杂且时间延展的环境中学习、交互与适应的智能体迈出的一步。
引用
@article{arxiv.2105.14039,
title = {Towards mental time travel: a hierarchical memory for reinforcement learning agents},
author = {Andrew Kyle Lampinen and Stephanie C. Y. Chan and Andrea Banino and Felix Hill},
journal= {arXiv preprint arXiv:2105.14039},
year = {2021}
}
备注
NeurIPS 2021; 10 pages main text; 29 pages total