静态摩擦力对机器人强化学习 Sim2Real 影响的分析
机器人学
2025-03-04 v1
摘要
在机器人强化学习中，Sim2Real 差距仍然是一个关键挑战。然而，静态摩擦力对 Sim2Real 的影响尚未充分探讨。常规的域随机化方法通常不将静态摩擦力纳入其参数空间。在我们的机器人强化学习任务中，这些常规的域随机化方法导致实际模型性能显著不足。为解决此 Sim2Real 挑战，我们采用了 Actuator Net 作为常规域随机化的替代方案。虽然该方法成功实现了平坦-ground locomotion 的迁移，但在楼梯等复杂地形上失败了。为进一步探讨影响机器人关节 Sim2Real 的物理参数，我们开发了一种控制论关节模型并进行了系统的参数识别。我们的分析揭示了机器人关节中意想不到的高摩擦力矩比例。为缓解其影响，我们实现了面向静态摩擦力的域随机化 Sim2Real。鉴于摩擦力建模引入的训练难度，我们提出了一种简单且新颖的解决方案以降低学习复杂度。为验证该方法，我们进行了全面的 Sim2Sim 和 Sim2Real 实验，比较了三种方法：常规域随机化（不包含静态摩擦力）、Actuator Net 以及我们的静态摩擦力感知域随机化。所有实验均使用 Rapid Motor Adaptation (RMA) 算法。结果表明，我们的方法在适应性和整体性能方面均优于其他方法。
引用
@article{arxiv.2503.01255,
title = {Impact of Static Friction on Sim2Real in Robotic Reinforcement Learning},
author = {Xiaoyi Hu and Qiao Sun and Bailin He and Haojie Liu and Xueyi Zhang and Chunpeng lu and Jiangwei Zhong},
journal= {arXiv preprint arXiv:2503.01255},
year = {2025}
}