用于自然语言机器人指令跟随的少样本物体定位与建图

我们研究学习机器人策略以跟随自然语言指令的问题，该策略可轻松扩展以推理新物体。我们引入一种少样本语言条件物体定位方法，其由增强现实数据训练，利用示例来识别物体并将其与指令中的提及对齐。我们提出一种习得地图表示，编码物体位置及其被指令的使用方式，并由我们的少样本定位输出构建。我们将此建图方法集成到指令跟随策略中，从而允许其在测试时仅通过添加示例来推理先前未见过的物体。我们在将原始观测与指令映射到物理四旋翼连续控制的任务上进行评估。即便先验方法在训练时观测到所有物体，我们的方法在出现新物体时仍显著优于先前最优水平。