基于子等变性的 3D 多实体物理环境中的强化学习
机器学习
2024-07-18 v1 人工智能
机器人学
摘要
在 3D 环境中学习多实体系统的策略要比单实体场景复杂得多，因为随着实体数量的增加，全局状态空间会指数级扩张。缓解指数级复杂度的一种可能方法是将全局空间划分为独立的局部视图，这些视图对包括平移和旋转在内的变换保持不变。为此，本文提出了子等变层次神经网络（Subequivariant Hierarchical Neural Networks, SHNN），以促进多实体策略学习。具体而言，SHNN 首先通过任务分配动态地将全局空间解耦为局部实体级图。其次，它利用子等变消息传递在局部实体级图上构建局部参考坐标系，从而显著压缩表示冗余度，尤其是在受重力影响的环境中。此外，为克服现有基准在捕捉欧几里得对称性下多实体系统细微差别方面的限制，我们提出了多实体基准（Multi-entity Benchmark, MEBEN），这是一个针对探索多实体强化学习各类问题的新环境套件。大量实验表明，与现有方法相比，SHNN 在所提出的基准上取得了显著的进展。对任务分配和子等变性的必要性进行了全面的消融实验。
引用
@article{arxiv.2407.12505,
title = {Subequivariant Reinforcement Learning in 3D Multi-Entity Physical Environments},
author = {Runfa Chen and Ling Wang and Yu Du and Tianrui Xue and Fuchun Sun and Jianwei Zhang and Wenbing Huang},
journal= {arXiv preprint arXiv:2407.12505},
year = {2024}
}
备注
ICML 2024