AI 足球环境中基于 DQN 的踢球动作训练
机器人学
2022-12-02 v1 人工智能
摘要
本文提出一种利用强化学习（RL）训练机器人在 AI 足球中执行踢球动作的技术。在 RL 中，智能体与环境交互，并学习在每一步于某状态下选择动作。训练 RL 算法时，若状态维度高且训练数据量少，会出现称为维度灾难（COD）的问题。COD 常导致 RL 模型性能下降。在机器人踢球情境中，随着球接近机器人，机器人基于从球场获得的信息选择动作。为避免遭受 COD，训练数据（在 RL 中即经验）应在（理论上无限的）时间内从球场所有区域均匀收集。本文中，我们尝试使用相对坐标系（RCS）作为训练机器人智能体踢球动作的状态，而非使用绝对坐标系（ACS）。使用 RCS 消除了智能体获知整个球场所有（状态）信息的必要，并降低了智能体执行踢球所需知晓的状态维度，从而缓解 COD。基于 RCS 的训练使用广泛采用的 Deep Q-network（DQN）进行，并在以 Webots 仿真软件实现的 AI Soccer 环境中测试。
引用
@article{arxiv.2212.00389,
title = {Kick-motion Training with DQN in AI Soccer Environment},
author = {Bumgeun Park and Jihui Lee and Taeyoung Kim and Dongsoo Har},
journal= {arXiv preprint arXiv:2212.00389},
year = {2022}
}
备注
4 pages, 4 figures