基于高斯的任务导向对象affordance

当机器人使用灵活手或夹爪抓取物体时,它应该理解该对象的任务导向affordance (TOAO),因为不同任务通常需要关注物体的特定部位。为此,我们提出 GauTOAO,一个基于高斯的任务导向对象affordance框架,利用零样本方式的视觉语言模型预测给定自然语言查询的物体affordance相关区域。我们的方案引入了一种新范式:"静态相机,移动物体",允许机器人在操作中更好地观察和理解手中的物体。GauTOAO 解决了现有方法在有效空间分组方面的局限性,通过提取 DINO 特征获取完整的 3D 物体掩码。该掩码随后用于条件查询高斯,产生针对指定任务的物体上的细化语义分布。此方法结果更准确的 TOAO 提取,增强了机器人对物体的理解并提高了任务性能。我们通过实际实验验证了 GauTOAO 的有效性,证明其在各种任务中具有良好的概括能力。