神经架构对识别时序扩展强化学习任务的影响
机器学习
2023-10-06 v1 人工智能
摘要
受近期图像分类与自然语言处理中注意力模型发展的启发，我们提出了强化学习（RL）领域中多种基于注意力的架构，能够在 OpenAI Gym Atari-2600 游戏套件上表现良好。尽管深度强化学习技术在机器人、游戏与医疗等领域取得了近期成功，它们仍存在一个主要缺陷，即神经网络难以解释。我们尝试借助基于注意力的模型规避此问题。在基于注意力的模型中，提取注意力图并将其叠加到图像上，可直接观察智能体用于选择动作的信息，并更易解释所选动作背后的逻辑。我们的模型除了在 gym-Atari 环境中表现良好外，还提供了关于智能体如何感知其环境的洞察。此外，受近期使用 Vision Transformer 的基于注意力的视频分类模型发展的推动，我们也提出了一种基于 Vision Transformer、面向基于图像的 RL 领域的架构。与先前 Vision Transformer 的工作相比，我们的模型训练更快且需要更少的计算资源。
引用
@article{arxiv.2310.03161,
title = {Neural architecture impact on identifying temporally extended Reinforcement Learning tasks},
author = {Victor Vadakechirayath George},
journal= {arXiv preprint arXiv:2310.03161},
year = {2023}
}
备注
Master's thesis at Albert-Ludwigs-University, Freiburg Faculty of Engineering, Department of Computer Science Chair for Machine Learning. Advisor: Raghu Rajan, Examiners: Prof. Dr. Frank Hutter, Prof. Dr. Thomas Brox