用高斯混合模型建模神经机器翻译中的集中式交叉注意力
计算与语言
2021-09-15 v2 人工智能
摘要
交叉注意力是神经机器翻译（NMT）的一个重要组成部分，以往方法始终通过点积注意力实现。然而，点积注意力仅考虑词对之间的相关性，在处理长句时导致分散，并忽略了源端相邻关系。受语言学启发，上述问题源于忽略了一类称为集中注意力的交叉注意力，其聚焦于若干中心词并随后向周围扩散。在本工作中，我们应用高斯混合模型（GMM）来建模交叉注意力中的集中注意力。我们在三个数据集上进行的实验和分析表明，所提方法优于基线，并在对齐质量、N-gram 准确率和长句翻译方面有显著改进。
引用
@article{arxiv.2109.05244,
title = {Modeling Concentrated Cross-Attention for Neural Machine Translation with Gaussian Mixture Model},
author = {Shaolei Zhang and Yang Feng},
journal= {arXiv preprint arXiv:2109.05244},
year = {2021}
}
备注
Accepted at Findings of EMNLP 2021. 11 pages, 7 figures, 7 tables