面向历史依赖操作的视觉锚定语言指令
机器人学
2022-03-15 v2 机器学习
摘要
本文强调机器人指代其任务历史的能力的重要性，尤其是在逐一遵循语言指令执行一系列拾取与放置操作时。指代操作历史的优势可分为两方面：（1）可解释省略细节而使用指代过去表达的语言指令；（2）可推断被先前操作遮挡的物体的视觉信息。为此，我们引入一个历史依赖操作任务，其目标是通过指代过去来视觉锚定一系列语言指令以进行恰当的拾取与放置操作。我们还提出了一个相关数据集和可作为基线的模型，并表明我们使用所提数据集训练的模型也可基于 CycleGAN 应用于真实世界。我们的数据集与代码已在项目网站公开：https://sites.google.com/view/history-dependent-manipulation。
引用
@article{arxiv.2012.08977,
title = {Visually Grounding Language Instruction for History-Dependent Manipulation},
author = {Hyemin Ahn and Obin Kwon and Kyoungdo Kim and Jaeyeon Jeong and Howoong Jun and Hongjung Lee and Dongheui Lee and Songhwai Oh},
journal= {arXiv preprint arXiv:2012.08977},
year = {2022}
}
备注
8 pages, 5 figures