将结构对齐偏置引入注意力神经翻译模型
计算与语言
2016-01-07 v1
摘要
机器翻译的神经编码器-解码器模型已取得令人印象深刻的成果，可与传统翻译模型媲美。然而其建模公式过于简化，忽略了内置在传统模型中的若干关键归纳偏置。本文扩展了注意力神经翻译模型，以纳入来自基于词的对齐模型的结构偏置，包括位置偏置、马尔可夫条件、繁衍度(fertility)以及翻译方向间的一致性。我们在多个语言对上展示了相对于基线注意力模型和标准基于短语的模型的改进，并在低资源设置下对困难语言进行了评估。
引用
@article{arxiv.1601.01085,
title = {Incorporating Structural Alignment Biases into an Attentional Neural Translation Model},
author = {Trevor Cohn and Cong Duy Vu Hoang and Ekaterina Vymolova and Kaisheng Yao and Chris Dyer and Gholamreza Haffari},
journal= {arXiv preprint arXiv:1601.01085},
year = {2016}
}
备注
10 pages