用于处理歧义语言指令的搬运与放置任务的多模态分类器生成对抗网络
机器人学
2018-06-12 v1 计算与语言
摘要
本文聚焦于家庭服务机器人执行搬运与放置任务的多模态语言理解方法。我们处理了指令存在歧义的情况，即未指定目标区域的情况。例如，在日常生活环境中，“把牛奶和麦片收起来”是一条自然指令，但在目标区域方面存在歧义。通常，这种指令可以通过对话系统来消除歧义，但代价是耗费时间且交互繁琐。相反，我们提出了一种多模态方法，利用机器人的状态和环境上下文来消除指令的歧义。我们开发了多模态分类器生成对抗网络（MMC-GAN），在考虑机器人物理限制和目标杂乱程度的情况下预测不同目标区域的可能性。与仅使用指令或简单深度神经网络的基线方法相比，我们的方法 MMC-GAN 显著提高了准确率。
引用
@article{arxiv.1806.03847,
title = {A Multimodal Classifier Generative Adversarial Network for Carry and Place Tasks from Ambiguous Language Instructions},
author = {Aly Magassouba and Komei Sugiura and Hisashi Kawai},
journal= {arXiv preprint arXiv:1806.03847},
year = {2018}
}
备注
9 pages, 7 figures, accepted for IEEE Robotics and Automation Letters (RA-L)