工作记忆图
机器学习
2020-08-19 v4 人工智能
计算与语言
摘要
在涉及文本序列的监督任务中，Transformer 已日益超越门控 RNN，取得新的最优结果。受此趋势启发，我们研究了基于 Transformer 的模型如何提升序列决策智能体的性能。我们提出了工作记忆图（WMG），这是一种采用多头自注意力对表示观测和循环状态的动态向量集合进行推理的智能体。我们在三个具有因子化观测空间的环境中评估 WMG：一个需要对过去观测进行复杂推理的路径寻找环境、涉及可变目标的 BabyAI 网格世界关卡，以及强调未来规划的推箱子（Sokoban）。我们发现，WMG 基于 Transformer 的架构与因子化观测空间相结合，相比所有任务中的基线架构在学习效率上带来显著提升。WMG 展示了基于 Transformer 的模型如何能大幅提升观测可因子化的强化学习环境中的采样效率。
引用
@article{arxiv.1911.07141,
title = {Working Memory Graphs},
author = {Ricky Loynd and Roland Fernandez and Asli Celikyilmaz and Adith Swaminathan and Matthew Hausknecht},
journal= {arXiv preprint arXiv:1911.07141},
year = {2020}
}
备注
11 pages, 6 figures, 7 page appendix