面向机器人损伤恢复的无重置试错学习

硬件故障的高概率阻碍了许多先进机器人（例如腿式机器人）在现实场景（例如灾后救援）中的可靠部署。机器人可以不尝试诊断故障，而是通过试错来适应，以便能够完成任务。在这种情况下，损伤恢复可被视为一个强化学习（RL）问题。然而，用于机器人技术的最佳 RL 算法要求机器人和环境在每个回合后重置到初始状态，即机器人并非在自主学习。此外，大多数用于机器人技术的 RL 方法无法很好地扩展到复杂机器人（例如步行机器人），要么完全无法使用，要么需要太长时间才能收敛到解决方案（例如数小时的学习）。本文中，我们引入了一种名为“无重置试错”（Reset-free Trial-and-Error, RTE）的新型学习算法，该算法（1）通过使用完好机器人的动力学模拟器预生成数百种可能行为来分解复杂性，并且（2）允许复杂机器人在完成任务并考虑环境因素的同时，从损伤中快速恢复。我们在一个模拟轮式机器人、一个模拟六足机器人和一个真实的六足步行机器人上评估了我们的算法，这些机器人以多种方式受损（例如，缺失一条腿、腿缩短、电机故障等），其目标是在一个场地内到达一系列目标点。我们的实验表明，机器人在有障碍物的环境中能够恢复其大部分运动能力，且无需任何人工干预。