三维环境中子等变图强化学习
机器学习
2023-05-31 v1 人工智能
机器人学
摘要
学习指导不同智能体运动的共享策略是强化学习（RL）的核心关注点，这催生了形态无关RL的研究。然而，现有基准在起点和目标点的选择上高度受限，将智能体的运动约束在二维空间内。在本工作中，我们提出了一种用于形态无关RL的新设定，称为三维环境中的子等变图RL（3D-SGRL）。具体而言，我们首先在三维空间中引入一组更实用且更具挑战性的新基准，允许智能体具有完整的自由度，从任意构型出发向任意方向探索。此外，为在扩大的状态-动作空间上优化策略，我们提出将几何对称性即子等变性注入策略和Q函数的建模中，使策略能泛化到所有方向，提升探索效率。该目标通过一种新颖的允许富有表现力的消息交换的子等变Transformer（SET）实现。最后，我们在所提基准上评估了该方法，在单任务、多任务和零样本泛化场景中，我们的方法持续且显著优于现有方法。我们还进行了大量消融实验以验证我们的设计。代码和视频可在项目主页获取：https://alpc91.github.io/SGRL/。
引用
@article{arxiv.2305.18951,
title = {Subequivariant Graph Reinforcement Learning in 3D Environments},
author = {Runfa Chen and Jiaqi Han and Fuchun Sun and Wenbing Huang},
journal= {arXiv preprint arXiv:2305.18951},
year = {2023}
}
备注
ICML 2023 Oral