用于无视角依赖句子生成的多模态注意力分支网络
计算机视觉与模式识别
2019-09-13 v1 人工智能
机器人学
摘要
在本文中，我们解决面向家用服务机器人的取物指令自动句子生成问题。典型的取物命令如“把白色架子上半部分的黄色玩具拿给我”包含指代表达，即“从白色架子的白色上半部分”。为解决该任务，我们提出一种多模态注意力分支网络（Multi-ABN），以端到端方式生成自然句子。Multi-ABN 使用同一固定场景的多幅图像来生成不依赖于特定视点的句子。该方法将语言注意力分支机制与若干注意力分支机制相结合。我们在标准度量上评估了我们的方法，其优于当前最优（SOTA）方法。我们的方法还允许我们可视化语言输入与视觉特征之间的对齐关系。
引用
@article{arxiv.1909.05664,
title = {Multimodal Attention Branch Network for Perspective-Free Sentence Generation},
author = {Aly Magassouba and Komei Sugiura and Hisashi Kawai},
journal= {arXiv preprint arXiv:1909.05664},
year = {2019}
}
备注
10 pages, 4 figures. Accepted for CoRL 2019