利用强化学习与生成式预训练模型实现四足机器人的逼真敏捷性与游戏行为
机器人学
2024-07-09 v2 人工智能
摘要
来自动物与人类的知识启发了机器人创新。为实现四足机器人的敏捷运动，已通过经典控制器或强化学习方法作出大量努力。这些方法通常依赖物理模型或手工设计的奖励来精确描述特定系统，而非像动物那样具备通用理解。在此我们提出一种分层框架，以构建可预训练、可复用且可扩充的基元级、环境级与策略级知识，服务于足式机器人。基元模块从动物运动数据中归纳知识，其中受语言与图像理解中大型预训练模型的启发，我们引入深度生成模型以产生运动控制信号，刺激足式机器人像真实动物般行动。随后，我们在更高层级塑造多种穿越能力以适配环境，通过复用基元模块实现。最后，训练一个策略模块，通过复用前序层级知识专注于复杂下游任务。我们将训练所得分层控制器应用于自研四足机器人 MAX，以模仿动物、穿越复杂障碍并参与一项精心设计的多智能体追逐标签游戏，机器人由此涌现出逼真的敏捷性与策略。
引用
@article{arxiv.2308.15143,
title = {Lifelike Agility and Play in Quadrupedal Robots using Reinforcement Learning and Generative Pre-trained Models},
author = {Lei Han and Qingxu Zhu and Jiapeng Sheng and Chong Zhang and Tingguang Li and Yizheng Zhang and He Zhang and Yuzhen Liu and Cheng Zhou and Rui Zhao and Jie Li and Yufeng Zhang and Rui Wang and Wanchao Chi and Xiong Li and Yonghui Zhu and Lingzhu Xiang and Xiao Teng and Zhengyou Zhang},
journal= {arXiv preprint arXiv:2308.15143},
year = {2024}
}
备注
Published in Nature Machine Intelligence, Vol. 7, 2024