面向密集杂乱物体的类别级形状估计

准确估计密集杂乱中物体的形状对机器人装箱有重要贡献，因为最优物体排布需要机器人规划器获取所有已有物体的形状信息。然而，待装箱物体通常以严重遮挡的密集杂乱形式堆积，且同一类别不同实例间形状差异显著。这分别导致较大的物体分割误差和在未见过实例上的不准确形状恢复，均降低了部署时形状估计的性能。本文提出一种面向密集杂乱物体的类别级形状估计方法。我们的框架通过多视角视觉信息融合分割杂乱中每个物体以实现高分割精度，并通过多样几何变换形变类别模板来恢复实例形状，从而获得增强的泛化能力。具体而言，我们首先采集物体杂乱的多视角 RGB-D 图像用于点云重建。随后融合表示多视角 RGB 图像视觉信息的特征图与从杂乱点云学习的像素亲和性，将所得多视角 RGB 图像实例分割掩码投影以分割杂乱点云。最后，从部分观测的实例点云与对应类别模板获取实例几何信息，并预测关于模板的形变参数用于形状估计。在仿真环境与真实世界的实验表明，我们的方法对具有不同形状的密集杂乱日常物体实现了高形状估计精度。