多模态是否有助于人类与机器进行翻译和图像描述生成？
计算与语言
2016-08-17 v4 机器学习
神经与进化计算
摘要
本文介绍了 LIUM 和 CVC 为 WMT16 多模态机器翻译挑战赛开发的系统。我们探索了各种比较方法，即基于短语的系统和使用单模态或多模态数据训练的注意力循环神经网络模型。我们还进行了人类评估，以估计多模态数据对于人类机器翻译和图像描述生成的用处。根据自动评估指标 BLEU 和 METEOR，我们的系统在两项任务上都取得了最佳结果。
引用
@article{arxiv.1605.09186,
title = {Does Multimodality Help Human and Machine for Translation and Image Captioning?},
author = {Ozan Caglayan and Walid Aransa and Yaxing Wang and Marc Masana and Mercedes García-Martínez and Fethi Bougares and Loïc Barrault and Joost van de Weijer},
journal= {arXiv preprint arXiv:1605.09186},
year = {2016}
}
备注
7 pages, 2 figures, v4: Small clarification in section 4 title and content