基于引导强化学习的大规模软体机器人躯干零样本全身操控

全身操控是一种强大但尚未充分探索的方法，使机器人能够利用末端执行器以外的更多部件与大型、重型或笨重物体进行交互。软体机器人凭借其固有的被动顺应性，特别适合此类接触密集的操控任务，但其运动学和动力学的不确定性为仿真与控制带来了重大挑战。在本工作中，我们通过一个可在MuJoCo中单线程运行、速度高达实时350倍的仿真来解决这一挑战，并详细分析了速度与精度之间的关键权衡。利用该框架，我们成功演示了学习到的全身操控策略的零样本sim-to-real迁移，在Baloo硬件平台上实现了88%的成功率。我们表明，利用简单运动基元引导强化学习对这一成功至关重要，而标准的奖励塑形方法难以产生稳定且成功的全身操控策略。此外，我们的分析表明，学习到的策略并非简单地模仿运动基元，它表现出有益的反应性行为，如重新抓取和扰动恢复。我们将学习到的策略与开环基线进行对比分析，表明该策略在扰动下也能表现出激进的过度纠正。据我们所知，这是首次在大型平台（10 kg负载）上利用两条连续体软臂进行力控六自由度全身操控，并实现零样本策略迁移。