基于图神经网络的 Google Research Football 智能体
机器学习
2022-04-26 v1 人工智能
摘要
深度神经网络（DNN）可以逼近强化学习的值函数或策略，从而使强化学习算法更为强大。然而，在某些强化学习特定场景下，一些 DNN（如卷积神经网络 CNN）无法提取足够信息，或需耗费过长时间从输入中获取足够特征。例如，Google Research Football 这一训练智能体踢足球的强化学习环境，其输入数据为球员位置的小地图。信息不仅包含在球员坐标中，也存在于不同球员之间的关系里。CNN 既无法提取足够信息，又训练耗时过长。为解决此问题，本文提出一种以图神经网络（GNN）为模型的深度 Q 学习网络（DQN）。GNN 将输入数据转换为更能表征球员位置的图，从而提取更多球员间交互信息。通过使用两个 GNN 分别逼近其局部与目标值函数，该 DQN 使球员能利用值函数从经验中学习，以审视各预期动作的前瞻价值。所提模型以显著更少的步数优于其他 DRL 模型，展示了 GNN 在足球游戏中的威力。
引用
@article{arxiv.2204.11142,
title = {Graph Neural Network based Agent in Google Research Football},
author = {Yizhan Niu and Jinglong Liu and Yuhao Shi and Jiren Zhu},
journal= {arXiv preprint arXiv:2204.11142},
year = {2022}
}
备注
Accepted by the 2nd International Conference on Artificial Intelligence, Automation and High Performance Computing (AIAHPC 2022), which was held in Zhuhai, China in February 2022