通过隐式注意力为强化学习解锁像素
机器学习
2021-10-05 v5 人工智能
计算机视觉与模式识别
机器人学
摘要
近来在基于视觉的环境中训练强化学习(RL)智能体引起了显著兴趣。这带来了诸多挑战,如高维性以及通过伪相关产生观测过拟合的潜在可能。解决这两个问题的一个有前景的方法是注意力瓶颈,它提供了一个简单而有效的框架来学习高性能策略,即使在存在干扰的情况下。然而,由于注意力架构的可扩展性差,这些方法无法应用于低分辨率视觉输入之外,且需使用大块(从而注意力矩阵很小)。本文中我们利用新近被证明对Transformer极为有效的高效注意力算法,并展示这些技术可以成功用于RL设定。这使得我们基于注意力的控制器能够扩展到更大的视觉输入,并促进使用更小的块,甚至单个像素,从而改善泛化。我们在从Distracting Control Suite到基于视觉的四足机器人运动的一系列任务上展示了这一点。我们对所提算法提供了严格的理论分析。
引用
@article{arxiv.2102.04353,
title = {Unlocking Pixels for Reinforcement Learning via Implicit Attention},
author = {Krzysztof Marcin Choromanski and Deepali Jain and Wenhao Yu and Xingyou Song and Jack Parker-Holder and Tingnan Zhang and Valerii Likhosherstov and Aldo Pacchiano and Anirban Santara and Yunhao Tang and Jie Tan and Adrian Weller},
journal= {arXiv preprint arXiv:2102.04353},
year = {2021}
}