Dex4D：面向 Sim-to-Real 灵活操纵的任务无关点轨迹策略

在灵活操纵领域，能够完成各种日常任务的通用策略仍是开放的挑战。特别是，通过真实世界遥操作收集大规模操纵数据在成本和可扩展性方面都很昂贵且困难。虽然在仿真中学习提供了可行的替代方案，但为训练设计多个任务特定的环境和奖励同样具有挑战性。我们提出了 Dex4D 框架，旨在利用仿真学习可灵活重组以执行多样真实世界操纵任务的任务无关灵活技能。具体而言，Dex4D 学习一种基于域无关的 3D 点轨迹的条件策略，能够操纵任意物体至任意期望姿态。我们在仿真中通过数千个具有多样姿态配置的对象上训练该 'Anypose-to-Anypose' 策略，涵盖了机器人-物体相互作用的广泛空间，这些相互作用可在测试时进行重组。部署时，该策略可实现零样本迁移到真实世界任务，仅需通过从生成视频中提取的 desired object-centric point tracks 对其进行提示即可。执行期间，Dex4D 使用在线点跟踪进行闭环感知和控制。仿真和真实机器人上的大量实验表明，我们的方法能够实现对多样灵活操纵任务的零样本部署，并在现有基线方法上实现持续改进。此外，我们展示了对新物体、场景布局、背景和轨迹的强大泛化能力，凸显了该框架的鲁棒性和可扩展性。