FRoM-W1：迈向基于语言指令的通用人形全身控制

人形机器人能够执行各种动作，如打招呼、跳舞甚至后空翻。然而，这些动作通常是硬编码或专门训练的，这限制了它们的通用性。在这项工作中，我们提出了FRoM-W1，一个旨在使用自然语言实现通用人形全身运动控制的开源框架。为了普遍理解自然语言并生成相应的运动，以及使各种人形机器人在重力作用下能够在物理世界中稳定执行这些运动，FRoM-W1分两个阶段运行：(a) H-GPT：利用海量人体数据，训练一个大规模语言驱动的人体全身运动生成模型，以生成多样化的自然行为。我们进一步利用思维链技术来提高模型在指令理解方面的泛化能力。(b) H-ACT：在将生成的人体全身运动重定向为机器人特定动作后，一个通过物理仿真中的强化学习进行预训练和进一步微调的运动控制器，使人形机器人能够准确稳定地执行相应动作。然后通过模块化的仿真到现实模块将其部署到真实机器人上。我们在宇树H1和G1机器人上广泛评估了FRoM-W1。结果表明，在用于人体全身运动生成的HumanML3D-X基准测试中性能优越，并且我们引入的强化学习微调持续提高了这些人形机器人的运动跟踪准确率和任务成功率。我们开源了整个FRoM-W1框架，并希望它能推动人形智能的发展。