基于深度强化学习的低成本四足机器人方向性运动训练

在本工作中，我们提出了在真实世界中对低成本四足机器人方向性运动进行深度强化学习（DRL）训练的方法。具体而言，我们利用机器人必须遵循的航向随机化，来促进对动作-状态转移的探索，这对于学习前向运动和路线调整最为有用。在回合重置时，将航向更改为当前偏航角加上从正态分布中抽取的随机值，能够生成可以遵循复杂轨迹的策略，这些轨迹涉及频繁的双向转弯以及长距离直线行进。通过不断改变航向，该方法使机器人保持在训练平台内移动，从而减少了训练过程中的人工干预和手动重置需求。在定制的低成本四足机器人上进行的真实世界实验证明了我们方法的有效性，机器人成功通过了所有验证测试。当使用其他方法训练时，机器人仅能通过前向运动测试，而在需要转弯时则失败。