可变形线性物体操控中状态估计的自监督学习

我们展示了基于模型的可变形线性物体的视觉机器人操控。我们的方法基于机器人旨在控制的物理系统的状态空间表示。这一选择具有多重优势，包括易于在动力学模型和感知模型中融入物理先验，以及易于规划操控动作。此外，物理状态可以自然地表示不同外观的物体实例。因此，状态空间中的动力学可以在一种设定下学习并直接用于其他视觉差异显著的设定。这与在像素空间或潜空间中学习的动力学形成对比，后者无法保证对视觉差异的泛化能力。采用状态空间方法的挑战在于从原始图像估计可变形物体的高维状态（在真实数据上标注成本极高），以及寻找一个既准确、可泛化又计算高效的动力学模型。我们首次展示了在真实图像上无需昂贵标注的自监督绳索状态估计训练。这通过我们新颖的自监督学习目标实现，该目标对广泛的视觉外观具有泛化能力。利用估计的绳索状态，我们训练了一个快速且可微的神经网络动力学模型，该模型编码了质量-弹簧系统的物理规律。与使用显式状态估计且不使用任何物理先验的模型相比，我们的方法仅使用 3% 的训练数据便在未来状态预测上取得了更高精度。我们还展示了在模型预测控制器中使用我们的方法时，无论是在仿真中还是在真实机器人上，都实现了更高效的操控。