识别物体可供性以支持操控任务的场景推理

关于场景的可供性信息为达成指定目标状态可能执行哪些动作提供了重要线索。因此，将基于可供性的推理整合进符号动作规划流程可增强机器人操控的灵活性。遗憾的是，性能最优的可供性识别方法利用物体类别先验来提升可供性检测与分割的准确率。物体先验限制了对未知物体类别的泛化能力。本文描述了一种基于类别无关区域提议网络的可供性识别流程，用于跨类别提议图像中的实例区域。为在缺乏类别先验的情况下引导可供性学习，训练过程包含了显式推断提议内现有可供性的辅助任务。其次，经训练以解读每个提议的自注意力机制学会通过区域捕获丰富的上下文依赖。视觉基准测试表明，所训练的网络（称为AffContext）缩小了物体无关与物体知情可供性识别之间的性能差距。AffContext通过带增强状态保持器的规划域定义语言（PDDL）相连接，用于跨时间分隔的目标导向任务的动作规划。操控实验表明，AffContext能成功解析场景内容以生成符号规划器问题规范，其执行可完成目标任务。此外，针对切割与捶击动作的任务导向抓取展示了利用给定物体的多种可供性来完成指定任务。