无监督多模态神经机器翻译
计算机视觉与模式识别
2019-05-28 v2 计算与语言
摘要
无监督神经机器翻译（UNMT）近期仅利用每种语言的大规模单语语料库便取得了显著成果。然而，将目标句与源句关联的不确定性使得 UNMT 在理论上是一个不适定问题。本工作探究利用图像进行消歧以提高 UNMT 性能的可能性。我们的假设直观上基于图像的不变性，即同一视觉内容由不同语言描述时应近似相似。我们提出一种基于以图像为条件的语言翻译循环一致性损失的无监督多模态机器翻译（UMNMT）框架，旨在同时学习双向多模态翻译。通过多模态与单模态之间的交替训练，我们的推理模型可在有图或无图情况下进行翻译。在广泛使用的 Multi30K 数据集上，我们的方法在 2016 测试数据集上的实验结果显著优于仅文本的 UNMT。
引用
@article{arxiv.1811.11365,
title = {Unsupervised Multi-modal Neural Machine Translation},
author = {Yuanhang Su and Kai Fan and Nguyen Bach and C. -C. Jay Kuo and Fei Huang},
journal= {arXiv preprint arXiv:1811.11365},
year = {2019}
}
备注
Accepted to CVPR 2019