用于非自回归翻译的上下文感知交叉注意力
计算与语言
2020-11-03 v1
摘要
非自回归翻译（NAT）通过预测整个目标序列显著加速推理过程。然而，由于解码器缺乏目标依赖建模，条件生成过程严重依赖于交叉注意力。本文揭示了NAT交叉注意力中的局部性感知问题，即其难以充分捕获源端上下文。为缓解该问题，我们提出将邻近源端词符的信号增强至常规交叉注意力中。在多个代表性数据集上的实验结果表明，我们的方法能持续优于强大的NAT基线。大量分析证明，增强后的交叉注意力通过利用局部与全局信息，实现了对源端上下文更好的利用。
引用
@article{arxiv.2011.00770,
title = {Context-Aware Cross-Attention for Non-Autoregressive Translation},
author = {Liang Ding and Longyue Wang and Di Wu and Dacheng Tao and Zhaopeng Tu},
journal= {arXiv preprint arXiv:2011.00770},
year = {2020}
}
备注
To appear in COLING 2020