基于神经描述子场的 SE(3)-等变关系重排

Anthony Simeonov; Yilun Du; Lin Yen-Chen; Alberto Rodriguez; Leslie Pack Kaelbling; Tomas Lozano-Perez; Pulkit Agrawal

基于神经描述子场的 SE(3)-等变关系重排

机器人学 2022-11-18 v1 计算机视觉与模式识别机器学习

作者: Anthony Simeonov , Yilun Du , Lin Yen-Chen , Alberto Rodriguez , Leslie Pack Kaelbling , Tomas Lozano-Perez , Pulkit Agrawal

在 arXiv 上查看 ↗ PDF ↗

摘要

我们提出一种直接从点云观测执行涉及任意位姿初始化的新颖物体实例间空间关系任务的方法。我们的框架提供了一种可扩展的方式，仅使用 5-10 个演示即可指定新任务。物体重排被形式化为寻找将物体中与任务相关的部分配置至期望对齐的动作这一问题。该形式化分三步实现：为与任务相关的物体部分分配一致的局部坐标系，确定该坐标系在未见物体实例上的位置与朝向，并执行使这些坐标系达到期望对齐的动作。我们通过开发一种基于神经描述子场（NDFs）和单个标注 3D 关键点的优化方法，克服了从少量演示中确定任务相关局部坐标系的关键技术挑战。一种基于能量的学习方案对满足期望关系任务的物体联合配置进行建模，进一步提升了性能。该方法在仿真和真实机器人上的三个多物体重排任务中进行了测试。项目网站、视频与代码：https://anthonysimeonov.github.io/r-ndf/

关键词

物体重排 SE(3)-等变神经描述子场点云少样本演示局部坐标系基于能量的学习

引用

@article{arxiv.2211.09786,
  title  = {SE(3)-Equivariant Relational Rearrangement with Neural Descriptor Fields},
  author = {Anthony Simeonov and Yilun Du and Lin Yen-Chen and Alberto Rodriguez and Leslie Pack Kaelbling and Tomas Lozano-Perez and Pulkit Agrawal},
  journal= {arXiv preprint arXiv:2211.09786},
  year   = {2022}
}

备注

CoRL 2022, first two authors contributed equally, website and code: https://anthonysimeonov.github.io/r-ndf/

基于神经描述子场的 SE(3)-等变关系重排

摘要

关键词

引用

备注

相关论文