去偏置词嵌入改进多模态机器翻译
计算与语言
2019-06-25 v3
摘要
近年来，预训练词嵌入已被证明有助于多模态神经机器翻译（NMT）模型应对可用数据集不足的问题。然而，预训练词嵌入的集成尚未得到广泛探索。此外，高维空间中的预训练词嵌入被报道存在枢纽性（hubness）问题。尽管已提出一些去偏置技术来解决其他自然语言处理任务的该问题，但它们很少在多模态 NMT 模型中被研究。在本研究中，我们考察了多种词嵌入，并为三种多模态 NMT 模型和两种语言对——英德翻译与英法翻译——引入了两种去偏置技术。在最优设置下，多模态模型的整体性能在英德翻译上提升了最高 +1.93 BLEU 和 +2.02 METEOR，在英法翻译上提升了最高 +1.73 BLEU 和 +0.95 METEOR。
引用
@article{arxiv.1905.10464,
title = {Debiasing Word Embeddings Improves Multimodal Machine Translation},
author = {Tosho Hirasawa and Mamoru Komachi},
journal= {arXiv preprint arXiv:1905.10464},
year = {2019}
}
备注
11 pages; MT Summit 2019 (camera ready)