面向机器人操作规划的关节物体的神经场表示
机器人学
2023-09-15 v1
摘要
传统的操作规划方法依赖于环境的显式几何模型，将给定的任务表述为优化问题。然而，从原始传感器输入推断准确模型本身就是一个难题，尤其是对于关节物体（例如壁橱、抽屉）。在本文中，我们提出一种关节物体的神经场表示（NFR），可直接从图像进行操作规划。具体而言，在拍摄若干张新关节物体的照片后，我们可以前向模拟其可能的运动，从而直接将该神经模型用于基于轨迹优化的规划。此外，该表示还可用于形状重建、语义分割和图像渲染，在训练和泛化过程中提供强监督信号。我们表明，仅在合成图像上训练的模型，能够在仿真和真实图像中都为同类未见物体提取有意义的表示。进一步，我们展示了该表示能够直接从图像实现真实世界中关节物体的机器人操控。
引用
@article{arxiv.2309.07620,
title = {Neural Field Representations of Articulated Objects for Robotic Manipulation Planning},
author = {Phillip Grote and Joaquim Ortiz-Haro and Marc Toussaint and Ozgur S. Oguz},
journal= {arXiv preprint arXiv:2309.07620},
year = {2023}
}