LiPS：具有串并联结构的大规模人形机器人强化学习
机器人学
2025-03-12 v1
摘要
近年来，人形机器人的研究备受关注，尤其是在基于强化学习的控制算法方面取得了重大突破。与传统的基于模型的控制算法相比，基于强化学习的算法在处理复杂任务时展现出显著优势。借助 GPU 的大规模并行计算能力，当代人形机器人可以在模拟环境中进行广泛的并行训练。一个能够支持大规模并行训练的物理仿真平台对人形机器人的发展至关重要。作为最复杂的机器人形态之一，人形机器人通常具有复杂的机械结构，包含众多串联和并联机构。然而，目前许多基于强化学习的人形机器人控制算法在训练阶段采用开环拓扑，直到 sim2real 阶段才将其转换为串并联结构。这主要是由于物理引擎的局限性，因为当前基于 GPU 的物理引擎通常只支持开环拓扑，或在模拟多刚体闭环拓扑方面能力有限。为了使基于强化学习的人形机器人控制算法能够在大规模并行环境中进行训练，我们提出了一种新颖的训练方法 LiPS。通过在仿真环境中引入多刚体动力学建模，我们显著减小了 sim2real 差距以及模型部署期间转换为并联结构的难度，从而为人形机器人的大规模强化学习提供了稳健支持。
引用
@article{arxiv.2503.08349,
title = {LiPS: Large-Scale Humanoid Robot Reinforcement Learning with Parallel-Series Structures},
author = {Qiang Zhang and Gang Han and Jingkai Sun and Wen Zhao and Jiahang Cao and Jiaxu Wang and Hao Cheng and Lingfeng Zhang and Yijie Guo and Renjing Xu},
journal= {arXiv preprint arXiv:2503.08349},
year = {2025}
}