StARformer：具有状态-动作-奖励表示的视觉强化学习Transformer
机器学习
2023-01-05 v3 人工智能
摘要
强化学习（RL）可被视为一种序列建模任务：给定一段过去的状态-动作-奖励经验序列，智能体预测接下来的动作序列。在本工作中，我们提出用于视觉RL的状态-动作-奖励Transformer（StARformer），其显式建模短期的状态-动作-奖励表示（StAR-representations），本质上引入了一种类马尔可夫归纳偏置以改进长期建模。我们的方法首先通过在短时序窗口内对图像状态块、动作和奖励token进行自注意力，提取StAR-representations。随后将这些表示与作为卷积特征提取的纯图像状态表示相结合，以在整个序列上执行自注意力。我们的实验表明，在基于图像的Atari和DeepMind Control Suite基准上，StARformer在离线RL和模仿学习设置中均优于最先进的基于Transformer的方法。StARformer也更适应更长的输入序列。我们的代码可在 https://github.com/elicassion/StARformer 获取。
引用
@article{arxiv.2110.06206,
title = {StARformer: Transformer with State-Action-Reward Representations for Visual Reinforcement Learning},
author = {Jinghuan Shang and Kumara Kahatapitiya and Xiang Li and Michael S. Ryoo},
journal= {arXiv preprint arXiv:2110.06206},
year = {2023}
}
备注
Accepted to ECCV 2022. Our code is available at https://github.com/elicassion/StARformer