基于 GAN 的多模态目标-源分类理解用于取物日常物品的自然语言指令
机器人学
2019-06-18 v1
摘要
本文针对家庭服务机器人场景下无约束取物指令的多模态语言理解问题展开研究。诸如“把白色架子上黄色的玩具拿给我”这类典型取物指令需要推断用户意图，即取什么物体（目标）以及从何处取（源）。为解决该任务，我们提出了多模态目标-源分类器模型（MTCM），该模型预测场景中目标候选与源候选的区域级似然。与其他方法不同，MTCM 可基于语言和视觉特征进行区域级分类。我们在标准数据集上评估了我们的方法，其性能优于最先进的方法。此外，我们通过生成对抗网络扩展了 MTCM（MTCM-GAN），实现了数据增强与分类的同步进行。
引用
@article{arxiv.1906.06830,
title = {Understanding Natural Language Instructions for Fetching Daily Objects Using GAN-Based Multimodal Target-Source Classification},
author = {Aly Magassouba and Komei Sugiura and Anh Trinh Quoc and Hisashi Kawai},
journal= {arXiv preprint arXiv:1906.06830},
year = {2019}
}
备注
8 pages, 6 figures, 5 tables. Accepted for RA-L with presentation at IROS 2019