以最小动力学随机化学习与部署鲁棒运动策略
机器人学
2023-03-08 v2 人工智能
摘要
训练深度强化学习（DRL）运动策略通常需要大量数据才能收敛到期望行为。在这方面，模拟器提供了廉价且丰富的来源。为实现成功的sim-to-real迁移，通常采用系统辨识、动力学随机化和域适应等精心设计的方案。作为替代，我们研究了一种在训练期间扰动系统动力学的简单策略——随机力注入（RFI）。我们表明，随机力的应用使我们能够模拟动力学随机化，从而获得对系统动力学变化具有鲁棒性的运动策略。我们进一步扩展RFI，引入情景式驱动偏移，称为扩展随机力注入（ERFI）。我们证明，ERFI为系统质量变化提供了额外的鲁棒性，平均性能比RFI提升53%。我们还表明，即使在户外不平坦地形上的感知式运动，ERFI也足以在ANYmal C和Unitree A1两种不同四足平台上实现成功的sim-to-real迁移。
引用
@article{arxiv.2209.12878,
title = {Learning and Deploying Robust Locomotion Policies with Minimal Dynamics Randomization},
author = {Luigi Campanaro and Siddhant Gangapurwala and Wolfgang Merkt and Ioannis Havoutis},
journal= {arXiv preprint arXiv:2209.12878},
year = {2023}
}
备注
8 pages, 5 figures. Under review. Supplementary video: https://youtu.be/YwxUUL-4YIM. Project website: https://sites.google.com/view/erfi-video