通过3D稠密扩散实现非刚性相对放置

“相对放置”任务是指预测一个对象相对于另一个对象的放置位置，例如将杯子放在杯架上。通过显式的对象中心几何推理，最近的相对放置方法在机器人操作中实现了数据高效学习，同时能够对未见的任务变体进行泛化。然而，这些方法尚未表示可变形变形，尽管在现实环境中非刚性物体非常常见。作为弥合这一差距的第一步，我们提出了“cross-displacement”——将相对放置原理扩展到可变形物体之间的几何关系，并提出一种基于视觉的新方法，通过稠密扩散学习cross-displacement。为此，我们展示了该方法在多个高度可变形任务（包括仿真和实际环境）中，能够对未见的物体实例、分布外的场景配置以及多模态目标进行泛化。补充信息和视频可在 https://sites.google.com/view/tax3d-corl-2024 查看。