用于取放任务中双重指代表达理解的切换头尾漏斗UNITER
机器人学
2023-07-17 v1 计算与语言
计算机视觉与模式识别
摘要
本文描述了一个家用服务机器人（DSR），其根据自由形式的自然语言指令抓取日常物体并将其搬运至指定目的地。给定如“将盘子左侧的瓶子移到空椅子上”的指令，DSR 需从环境中多个候选里识别瓶子和椅子，并将目标物体搬运至目的地。现有多数多模态语言理解方法因需对所有目标物体候选与目的地候选的组合进行推理，在计算复杂度上不实用。我们提出切换头尾漏斗 UNITER（Switching Head-Tail Funnel UNITER），使用单一模型分别预测目标物体与目的地来解决该任务。我们的方法在一个新建数据集上得到验证，该数据集由物体操作指令与在标准 Embodied AI 模拟器中捕获的半照片级真实图像组成。结果显示，我们的方法在语言理解准确率上优于基线方法。此外，我们开展了物理实验，其中 DSR 按含指代表达的指令在标准家庭环境中递送标准化日常物体。实验结果表明，物体抓取与放置动作的成功率均超过 90%。
引用
@article{arxiv.2307.07166,
title = {Switching Head-Tail Funnel UNITER for Dual Referring Expression Comprehension with Fetch-and-Carry Tasks},
author = {Ryosuke Korekata and Motonari Kambara and Yu Yoshida and Shintaro Ishikawa and Yosuke Kawasaki and Masaki Takahashi and Komei Sugiura},
journal= {arXiv preprint arXiv:2307.07166},
year = {2023}
}
备注
Accepted for presentation at IROS2023