通过地形 Transformer 实现四足运动的交叉仿真到现实迁移
机器人学
2023-03-22 v2 机器学习
摘要
深度强化学习近来作为一种有吸引力的替代方案兴起，用于在多种地形上实现腿式运动：在物理仿真中训练策略，然后将其迁移到真实世界（即仿真到现实迁移）。尽管取得了显著进展，传统神经网络的容量与可扩展性仍受限，这可能阻碍其在更复杂环境中的应用。相比之下，Transformer 架构已在包括自然语言处理与决策问题在内的广泛大规模序列建模任务中展现出优越性。本文中，我们提出 Terrain Transformer (TERT)，一种用于多种地形上四足运动控制的高容量 Transformer 模型。此外，为在仿真到现实场景中更好地利用 Transformer，我们提出一种由离线预训练阶段与在线校正阶段组成的新型两阶段训练框架，其可自然地将 Transformer 与特权训练相结合。仿真中的大量实验表明，TERT 在回报、能耗与控制平滑度方面优于不同地形上的最先进基线。在进一步的真实世界验证中，TERT 成功穿越了九种具有挑战性的地形，包括沙坑与下楼梯，而强基线无法完成。
引用
@article{arxiv.2212.07740,
title = {Sim-to-Real Transfer for Quadrupedal Locomotion via Terrain Transformer},
author = {Hang Lai and Weinan Zhang and Xialin He and Chen Yu and Zheng Tian and Yong Yu and Jun Wang},
journal= {arXiv preprint arXiv:2212.07740},
year = {2023}
}
备注
Accepted by ICRA2023