蒸馏特征场实现少样本语言引导操作

自监督与语言监督的图像模型包含丰富的世界知识，这对泛化十分重要。然而，许多机器人任务需要对三维几何的细致理解，而二维图像特征往往缺乏此类信息。本工作通过利用蒸馏特征场将精确的三维几何与来自二维基础模型的丰富语义相结合，弥合了机器人操作中的这一二维到三维鸿沟。我们提出了一种用于六自由度抓取与放置的少样本学习方法，其利用这些强大的空间与语义先验，实现对未见物体的野外泛化。使用从视觉-语言模型CLIP中蒸馏的特征，我们提出了一种通过自由文本自然语言指定新物体进行操作的方式，并展示了其泛化到未见表达与新型物体类别的能力。