具有局部性约束的联合源-目标自注意力
计算与语言
2019-05-17 v1 机器学习
摘要
主流的神经机器翻译模型基于编码器-解码器结构，其中许多依赖于对源序列和目标序列的无约束感受野。本文研究一种打破上述两种惯例的新架构。我们简化的架构由 transformer 模型的解码器部分构成，基于自注意力，但对注意力感受野施加局部性约束。作为训练输入，源句和目标句均被送入网络，该网络作为语言模型进行训练。在推理时，目标词以源序列作为先前词自回归地预测。所提模型在 IWSLT'14 德英翻译上取得了 35.7 BLEU 的新 SOTA，并在 WMT'14 英德和 WMT'14 英法翻译基准上匹配了文献中报道的最佳结果。
引用
@article{arxiv.1905.06596,
title = {Joint Source-Target Self Attention with Locality Constraints},
author = {José A. R. Fonollosa and Noe Casas and Marta R. Costa-jussà},
journal= {arXiv preprint arXiv:1905.06596},
year = {2019}
}