GeRM：面向四足机器人通用模型
机器人学
2024-04-10 v2 计算机视觉与模式识别
机器学习
摘要
多任务机器人学习在解决多样化且复杂场景方面具有重要重要性。然而，当前方法受限于性能问题和难以收集训练数据集。在本文中，我们提出GeRM(Generalist Robotic Model)。我们利用离线强化学习优化数据利用策略，从演示和亚最优数据中进行学习，从而超越了人类演示的限制。随后，我们采用基于Transformer的VLA网络处理多模态输入并输出动作。通过引入Mixture-of-Experts结构，GeRM实现更快的推理速度和更大的整体模型容量，从而解决了RL参数有限的问题，增强了在多任务学习中的模型性能，同时控制计算成本。通过一系列实验，我们证明GeRM在所有任务上均优于其他方法，同时验证了其在训练和推理过程中的效率。此外，我们发现其获取新兴技能的潜力。我们还贡献了QUARD-Auto数据集，该数据集是自动收集的，用于支持我们的训练方法并推动多任务四足机器人学习的进展。这项工作提出了一种新的范式，降低收集机器人数据成本，推动多任务学习社区的进步。项目和视频链接为：https://songwxuan.github.io/GeRM/。
引用
@article{arxiv.2403.13358,
title = {GeRM: A Generalist Robotic Model with Mixture-of-experts for Quadruped Robot},
author = {Wenxuan Song and Han Zhao and Pengxiang Ding and Can Cui and Shangke Lyu and Yaning Fan and Donglin Wang},
journal= {arXiv preprint arXiv:2403.13358},
year = {2024}
}