用于高效深度强化学习的多焦点注意力网络
机器学习
2017-12-14 v1 人工智能
机器学习
摘要
深度强化学习（DRL）在学习各类任务至人类水平方面表现出令人惊叹的性能。然而，与人类感知不同，当前的DRL模型将整个低级感官输入连接到状态-动作值，而非利用构成感官输入的实体之间及内部的关系。由于这一差异，DRL需要大量经验样本才能学习。本文提出一种多焦点注意力网络（MANet），它模仿人类将低级感官输入空间抽象为多个实体并同时关注它们的能力。所提方法首先将低级输入划分为若干段，我们称之为部分状态。在此分割之后，并行注意力层关注与解决任务相关的部分状态。我们的模型利用这些被关注的部分状态估计状态-动作值。在实验中，MANet以显著更少的经验样本取得了最高分数。此外，与作为基准的Deep Q-network和单注意力模型相比，该模型表现出更优性能。进一步地，我们将模型扩展为注意力通信模型以执行多智能体协作任务。在多智能体协作任务实验中，我们的模型比现有最先进模型学习快20%。
引用
@article{arxiv.1712.04603,
title = {Multi-focus Attention Network for Efficient Deep Reinforcement Learning},
author = {Jinyoung Choi and Beom-Jin Lee and Byoung-Tak Zhang},
journal= {arXiv preprint arXiv:1712.04603},
year = {2017}
}
备注
AAAI 2017 Workshop on What's next for AI in games (WNAIG 2017), 2017