基于强化学习的多模态机器翻译
计算与语言
2018-05-08 v1 人工智能
信息检索
多智能体系统
多媒体
摘要
多模态机器翻译是融合计算机视觉与语言处理的诸多应用之一。鉴于机器翻译领域中许多最先进算法仍仅采用文本信息，这是一项独特的任务。在本工作中，我们探索强化学习在多模态机器翻译中的有效性。我们提出了一种基于优势 actor-critic（A2C）算法、专门面向 EMNLP 2018 第三届机器翻译会议（WMT18）多模态机器翻译任务的新算法。我们在 Multi30K 多语言英德图像描述数据集与 Flickr30K 图像实体数据集上实验了所提算法。我们的模型接收图像与文本双通道输入，使用翻译评测指标作为训练奖励，并取得了优于监督学习 MLE 基线模型的结果。此外，我们讨论了将强化学习用于机器翻译的前景与局限。实验结果表明，针对通用的多模态序列到序列学习任务，强化学习是一种有前景的解决方案。
引用
@article{arxiv.1805.02356,
title = {Multimodal Machine Translation with Reinforcement Learning},
author = {Xin Qian and Ziyi Zhong and Jieli Zhou},
journal= {arXiv preprint arXiv:1805.02356},
year = {2018}
}