通过结合注意力与主体特征加速强化学习
机器学习
2020-01-01 v1 人工智能
摘要
在玩电子游戏时，我们会立即识别出自己所控制的实体，并将注意力集中于该实体以聚焦学习并降低其维度。强化学习（RL）已能够处理大型状态空间，包括雅达利游戏中的像素图像状态，但学习速度缓慢，依赖于从全局状态到动作值（Q函数）的暴力映射，因此其性能严重受状态维度影响，且无法迁移到其他游戏或同一游戏的其他部分。我们提出了不同的输入状态变换，结合了注意力与主体检测机制——这两者虽在RL中分别被研究过，但据我们所知尚未被共同使用。我们提出并基准测试了不同架构，包括以主体为中心的全局与局部状态版本，以及包含环境摘要的版本。结果表明，即便是冗余的全局-局部状态网络也能比仅用全局状态学习得更快。状态的摘要版本在实现与输入尺寸无关的学习方面展现出前景。
引用
@article{arxiv.1912.12623,
title = {Speeding up reinforcement learning by combining attention and agency features},
author = {Berkay Demirel and Martí Sánchez-Fibla},
journal= {arXiv preprint arXiv:1912.12623},
year = {2020}
}
备注
9 pages, 5 figures, Paper appeared in CCIA 2019