借助视觉感知提炼译文
计算与语言
2019-06-19 v1
摘要
先前关于多模态机器翻译的研究表明，视觉信息仅在特定情况下才需要，例如存在文本上下文不足的歧义词时。因此，模型往往学会忽略该信息。我们提出一种翻译-精炼方法来解决此问题，其中图像仅由第二阶段解码器使用。该方法联合训练以生成良好的初稿翻译，并通过（i）更好地利用目标语言文本上下文（左侧和右侧上下文）以及（ii）利用视觉上下文来改进该初稿。此方法取得了最先进（state of the art）的结果。此外，我们表明它能够从源语言中的错误或缺失词中恢复。
引用
@article{arxiv.1906.07701,
title = {Distilling Translations with Visual Awareness},
author = {Julia Ive and Pranava Madhyastha and Lucia Specia},
journal= {arXiv preprint arXiv:1906.07701},
year = {2019}
}
备注
accepted to ACL 2019