面向四足机器人同步仿真到现实迁移的统一运动 Transformer

四足机器人在复杂地形上的 traversing 能力取得了快速进展。深度强化学习（RL）、transformer 以及各种知识迁移技术的采用可以极大地缩小仿真到现实的差距。然而，现有运动策略中常用的经典师生框架需要预训练的教师，并利用特权信息来指导学生策略。随着大规模模型在机器人控制器中的实现，特别是基于 transformer 的模型，这种知识蒸馏技术由于需要多个监督阶段，开始在效率上暴露出其弱点。在本文中，我们提出了统一运动 Transformer（ULT），一种新的基于 transformer 的框架，在单个网络中统一知识迁移和策略优化过程，同时仍利用特权信息。策略通过强化学习、下一状态-动作预测和动作模仿进行优化，所有这些仅在一个训练阶段内完成，以实现零样本部署。评估结果表明，使用 ULT 可以同时获得最优的教师和学生策略，极大地减轻了知识迁移的难度，即使对于复杂的基于 transformer 的模型也是如此。