PA-LOCO：学习四足机器人扰动自适应运动控制

基于强化学习 (RL) 设计的众多运动控制器已被用于促进穿越挑战性地形的盲四足运动。然而，对于在不可预见扰动下穿越多样地形的四足机器人而言，运动控制仍然是一项具有挑战性的任务。最近，特权学习被用于基于教师-学生架构学习在各种地形上可靠且鲁棒的四足运动。然而，其单编码器结构不足以应对外部力扰动。由于教师策略的特征编码器与学生策略的特征编码器之间存在特征嵌入差异，学生策略将经历不可避免的性能下降。因此，本文提出了一种具有多个特征编码器和残差策略网络的特权学习框架，用于在受到各种外部扰动时实现鲁棒且可靠的四足运动。多编码器结构可以解耦来自不同特权信息的潜在特征，最终提升所学策略在鲁棒性、稳定性和可靠性方面的性能。利用大量仿真数据深入分析了所提出的特征编码模块的效率。残差策略网络的引入有助于缓解试图克隆教师策略行为的学生策略所经历的性能下降。所提出的框架在 Unitree GO1 机器人上进行了评估，通过在多样地形上进行的大量实验，展示了其相对于最先进的特权学习算法的性能提升。进行了消融研究以说明残差策略网络的效率。