基于策略合并的机器人集群学习

Lirui Wang; Kaiqing Zhang; Allan Zhou; Max Simchowitz; Russ Tedrake

基于策略合并的机器人集群学习

机器人学 2024-02-26 v3 机器学习

作者: Lirui Wang , Kaiqing Zhang , Allan Zhou , Max Simchowitz , Russ Tedrake

摘要

机器人集群摄取由其与环境交互产生的海量异构流式数据孤岛，其规模远超可轻松存储或传输的量。同时，机器人团队应通过其在多样环境中的异构经验共同习得多样技能。我们如何能在不传输或集中集群规模数据的情况下实现此类集群级学习？本文研究从此类分布式异构数据集进行策略合并(PoMe)作为一种潜在方案。为高效合并集群设定下的策略，我们提出 FLEET-MERGE，一种分布式学习的实例化，其考虑了以循环神经网络参数化控制策略时出现的置换不变性。我们展示了 FLEET-MERGE 能整合在 Meta-World 环境中于 50 个任务上训练的策略，在测试时对几乎所有训练任务均有良好表现。此外，我们引入一个新的机器人工具使用基准 FLEET-TOOLS，用于组合式且富含接触的机器人操作任务中的集群策略学习，以验证 FLEET-MERGE 在该基准上的有效性。

关键词

机器人集群学习策略合并分布式学习置换不变性循环神经网络工具使用基准

引用

@article{arxiv.2310.01362,
  title  = {Robot Fleet Learning via Policy Merging},
  author = {Lirui Wang and Kaiqing Zhang and Allan Zhou and Max Simchowitz and Russ Tedrake},
  journal= {arXiv preprint arXiv:2310.01362},
  year   = {2024}
}

备注

See the code https://github.com/liruiw/Fleet-Tools for more details

基于策略合并的机器人集群学习

摘要

关键词

引用

备注

相关论文