神经描述子场：用于操作的SE(3)-等变物体表示
机器人学
2021-12-10 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
我们提出神经描述子场（NDFs），一种通过类别级描述子同时编码物体上的点以及物体与目标（如机器人夹爪或用于悬挂的架子）之间相对位姿的物体表示。我们将此表示用于物体操作，即在给定任务演示时，希望在同一类别的新物体实例上重复相同任务。我们提出通过搜索（经由优化）描述子与演示中观察到的相匹配的位姿来实现该目标。NDFs以自监督方式方便地通过不依赖专家标注关键点的三维自编码任务进行训练。此外，NDFs是SE(3)-等变的，保证了跨所有可能三维物体平移和旋转的泛化性能。我们在仿真和真实机器人上展示了从少量（5-10）演示中学习操作任务。我们的性能在物体实例和6-DoF物体位姿上均具有泛化性，并显著优于依赖二维描述子的最近基线。项目网站：https://yilundu.github.io/ndf/。
引用
@article{arxiv.2112.05124,
title = {Neural Descriptor Fields: SE(3)-Equivariant Object Representations for Manipulation},
author = {Anthony Simeonov and Yilun Du and Andrea Tagliasacchi and Joshua B. Tenenbaum and Alberto Rodriguez and Pulkit Agrawal and Vincent Sitzmann},
journal= {arXiv preprint arXiv:2112.05124},
year = {2021}
}
备注
Website: https://yilundu.github.io/ndf/. First two authors contributed equally (order determined by coin flip), last two authors equal advising