基于神经序列模型的多语言图像描述
计算与语言
2015-11-19 v2 计算机视觉与模式识别
机器学习
神经与进化计算
摘要
本文提出一种多语言图像描述方法，融合了神经机器翻译与神经图像描述的见解。为给定目标语言生成图像描述，我们的序列生成模型以图像的特征向量、源语言描述、和/或在图像与源语言描述上计算的多模态向量为条件。在IAPR-TC12数据集（包含与英语和德语句子对齐的图像）上的图像描述实验中，我们发现相比单语基线，多语言训练的模型在BLEU4和Meteor分数上取得了显著且大幅的提升。
引用
@article{arxiv.1510.04709,
title = {Multilingual Image Description with Neural Sequence Models},
author = {Desmond Elliott and Stella Frank and Eva Hasler},
journal= {arXiv preprint arXiv:1510.04709},
year = {2015}
}
备注
Under review as a conference paper at ICLR 2016