TTT-Parkour: 面向感知式机器人攀爬的快速测试时训练

在未知复杂地形上实现高度动态的人形机器人攀爬仍是机器人学中的挑战。虽然通用的 locomotion 策略在广泛的地形分布上表现出能力，但往往在面对任意且高度具挑战性的环境时会感到困难。为克服这一限制，我们提出一种利用在新地形上进行快速测试时训练 (TTT) 的真实-仿真-真实框架，显著提升机器人遍历极端困难几何形状的能力。我们采用两阶段端到端学习范式：首先在多样化的程序生成地形上预训练策略，然后在由真实世界捕获的高保真网格上进行快速微调。具体而言，我们开发了一种基于 RGB-D 输入的前馈、高效且高保真的几何重建管道，确保在测试时训练期间实现速度和质量。我们展示表明，TTT-Parkour 使人形机器人能够掌握包括楔形、尖刺、箱子、梯形和狭窄梁等复杂障碍。大多数测试地形的捕获、重建和测试时训练整个管道耗时不足 10 分钟。广泛的实验表明，经过测试时训练后的策略展现出稳健的零样仿真到真实的迁移能力。