减轻标注负担：基于注意力分支编码器-解码器网络的句子生成
计算机视觉与模式识别
2020-07-10 v1 机器人学
摘要
家用服务机器人（DSR）是解决家庭护理人员短缺问题的一种极具前景的方案。然而，DSR 的主要局限之一是无法通过语言进行自然交互。近来，数据驱动方法已被证明能有效应对这一局限；然而，这些方法通常需要大规模数据集，成本高昂。基于此背景，我们旨在实现取物指令的自动句子生成：例如，“把桌上那瓶绿茶拿给我。”这尤其具有挑战性，因为恰当的表达不仅取决于目标物体，还取决于其周围环境。在本文中，我们提出注意力分支编码器-解码器网络（ABEN），以从视觉输入生成句子。与其他方法不同，ABEN 具有使用子词级注意力的多模态注意力分支，并基于子词嵌入生成句子。在实验中，我们使用图像描述领域的四个标准指标将 ABEN 与基线方法进行了比较。结果表明，ABEN 在这些指标上优于基线方法。
引用
@article{arxiv.2007.04557,
title = {Alleviating the Burden of Labeling: Sentence Generation by Attention Branch Encoder-Decoder Network},
author = {Tadashi Ogura and Aly Magassouba and Komei Sugiura and Tsubasa Hirakawa and Takayoshi Yamashita and Hironobu Fujiyoshi and Hisashi Kawai},
journal= {arXiv preprint arXiv:2007.04557},
year = {2020}
}
备注
9 pages, 8 figures. accepted for IEEE Robotics and Automation Letters (RA-L) with presentation at IROS 2020