基于决策 Transformer 的四足机器人微型强化学习 locomotion
机器人学
2024-02-21 v1 人工智能
机器学习
摘要
资源受限的机器人平台对于需要低成本硬件替代方案的任务特别有用，例如在搜救应用中存在丢失机器人的风险，或在群机器人学中需要大量设备的情况。因此，找到使强化学习技术适应这些超低成本机器人平台较低计算能力和较小内存容量限制的机制至关重要。我们试图通过提出一种使模仿学习可部署到资源受限机器人平台上的方法来解决这一需求。在此，我们将模仿学习问题转化为条件序列建模任务，并使用 augmented 自定义奖励的专家演示训练决策 Transformer。然后，我们使用软件优化方案（包括量化和剪枝）压缩生成的模型。我们在 Isaac Gym（一个专为强化学习设计的逼真物理仿真环境）中通过仿真测试了我们的方法。实证表明，我们的方法使资源受限的四足机器人 Bittle 实现了自然的步态。我们还进行了多次仿真以展示剪枝和量化对模型性能的影响。结果表明，量化（低至 4 位）和剪枝在保持竞争性奖励的同时，将模型大小减少了约 30%，使得模型可部署在资源受限的系统中。
引用
@article{arxiv.2402.13201,
title = {Tiny Reinforcement Learning for Quadruped Locomotion using Decision Transformers},
author = {Orhan Eren Akgün and Néstor Cuevas and Matheus Farias and Daniel Garces},
journal= {arXiv preprint arXiv:2402.13201},
year = {2024}
}
备注
10 pages, 4 figures