EquivAct：超越刚体操作的 SIM(3)-等变视觉运动策略
机器人学
2024-07-03 v2 机器学习
摘要
若机器人掌握了折叠厨房毛巾，我们期望它也能掌握折叠大型沙滩毛巾。然而，现有依赖数据增强的策略学习方法仍无法保证此类泛化。我们的见解是为视觉物体表示与策略架构同时添加等变性。我们提出 EquivAct，其利用 SIM(3)-等变网络结构，从构造上保证跨所有可能物体平移、三维旋转与尺度的泛化。EquivAct 分两阶段训练。我们首先在仿真场景点云上预训练 SIM(3)-等变视觉表示。随后，使用少量源任务演示学习 SIM(3)-等变视觉运动策略。我们展示所学策略可直接迁移到与演示在尺度、位置和朝向上显著不同的物体。我们在涉及可变形与铰接物体的三项操作任务中评估方法，超越了先前工作考虑的典型刚体操作任务。我们在仿真与现实中均开展实验。对于真实机器人实验，我们的方法使用 20 个人类桌面任务演示，并零样本迁移到更大布置中的移动操作任务。实验证实我们的对比预训练流程与等变架构相较先前工作有显著提升。项目网站：https://equivact.github.io
引用
@article{arxiv.2310.16050,
title = {EquivAct: SIM(3)-Equivariant Visuomotor Policies beyond Rigid Object Manipulation},
author = {Jingyun Yang and Congyue Deng and Jimmy Wu and Rika Antonova and Leonidas Guibas and Jeannette Bohg},
journal= {arXiv preprint arXiv:2310.16050},
year = {2024}
}
备注
ICRA 2024; The first two authors contributed equally