利用贝叶斯特征对象将语言属性关联到物体
机器人学
2019-08-05 v2 计算与语言
计算机视觉与模式识别
摘要
我们开发了一个系统，基于简单的物理描述在同一类别中消歧物体实例。该系统以自然语言短语和包含已分割物体的深度图像为输入，预测观测物体与短语所描述物体的相似程度。我们的系统设计为仅从少量人工标注的语言数据中学习，并泛化到语言标注深度图像训练集中未表示的视角。通过将 3D 形状表示与语言表示解耦，该方法能够利用少量语言标注深度数据和更大的无标注 3D 物体网格语料，将语言关联到新颖物体，即使这些物体从异常视角被部分观测。我们的系统能够基于自然语言描述，通过深度图像消歧新颖物体。我们的方法还实现了视角迁移；在从正面视角捕获的一小组深度图像上以人工标注数据训练，我们的系统成功从后方视角预测物体属性，尽管训练集中并无此类深度图像。最后，我们在 Baxter 机器人上演示了我们的方法，使其能基于人工提供的自然语言描述拾取特定物体。
引用
@article{arxiv.1905.13153,
title = {Grounding Language Attributes to Objects using Bayesian Eigenobjects},
author = {Vanya Cohen and Benjamin Burchfiel and Thao Nguyen and Nakul Gopalan and Stefanie Tellex and George Konidaris},
journal= {arXiv preprint arXiv:1905.13153},
year = {2019}
}