基于深度强化学习的以意识视角训练机器人足球
机器人学
2024-05-07 v1 人工智能
摘要
我们应用多智能体深度强化学习（RL）训练端到端机器人足球政策，完全集成计算与感知，采用意识视角 RGB 视觉。该设置反映了实际机器人领域的多种挑战，包括主动感知、灵活全身控制以及动态、部分可见的多智能体环境中的长期规划。我们依赖大规模基于仿真的数据生成，以获得从意识视角中提取的复杂行为，这些行为可通过低成本传感器成功迁移到物理机器人上。为实现足够的视觉真实性，仿真环境将刚体动力学与通过多个神经辐射场（NeRFs）学习的真实渲染相结合。我们结合基于教师的多智能体 RL 和跨实验数据复用，以实现足球策略的复杂战术发现。我们分析了包括目标跟踪和球球寻find 在内的主动感知行为，这些行为在仅优化感知无关的足球战术时会自然出现。代理器显示出与访问特权、真实状态的政策相当的性能和灵活性。就我们所知，本文是首次演示了端到端训练的多智能体机器人足球，将原始像素观察映射到关节级动作，可在实际世界中部署。游戏视频及分析可在我们的网站 https://sites.google.com/view/vision-soccer 查看。
引用
@article{arxiv.2405.02425,
title = {Learning Robot Soccer from Egocentric Vision with Deep Reinforcement Learning},
author = {Dhruva Tirumala and Markus Wulfmeier and Ben Moran and Sandy Huang and Jan Humplik and Guy Lever and Tuomas Haarnoja and Leonard Hasenclever and Arunkumar Byravan and Nathan Batchelor and Neil Sreendra and Kushal Patel and Marlon Gwira and Francesco Nori and Martin Riedmiller and Nicolas Heess},
journal= {arXiv preprint arXiv:2405.02425},
year = {2024}
}