基于3D视觉数据的工具可供性与操作线索迁移

未来在人类环境（如厨房）中工作的服务机器人将面临需要即兴应对的情况。给定任务的常用工具可能不可用，机器人将不得不使用某种替代工具。机器人需要从可用候选中选择合适的替代工具，并且需要知道在哪里抓取它、如何定向以及使用哪一部分作为末端执行器。我们提出了一种系统，其输入为候选工具的点云和重量，输出为该工具对任务的有效程度评分以及如何使用它。我们的关键新颖性在于采用任务驱动的方法，其中任务对低级视觉数据的解释施加自顶向下的影响。这促进了一种“日常创造性”，即诸如酒瓶之类的物体可用作擀面杖，因为物体的解释并非预先固定，而是运行时自底向上与自顶向下压力之间交互的结果。自顶向下的影响通过迁移实现：使工具适于任务的几何特征的先验知识被用于寻找候选工具中的相似特征。该先验知识通过模拟执行任务的Web模型学习得到。我们在一组五十个家用物体和五个任务上进行了评估。我们将我们的系统与文献中最接近的系统进行比较，表明我们取得了显著更好的结果。