通过操纵多头注意力生成多样化翻译
计算与语言
2019-11-22 v1
摘要
Transformer模型已被广泛用于机器翻译任务并取得了最先进的结果。在本文中，我们报告了其编码器-解码器多头注意力中的一个有趣现象：最终解码器层的不同注意力头对齐到不同的词翻译候选。我们经验性地验证了这一发现，并提出了一种通过操纵注意力头生成多样化翻译的方法。此外，我们利用这些多样化翻译结合回译技术以实现更好的数据增强。实验结果表明，我们的方法在不严重降低翻译质量的情况下生成多样化翻译。实验还表明，使用这些多样化翻译的回译可显著改善翻译任务上的性能。对话响应生成任务的辅助实验也证明了多样性的作用。
引用
@article{arxiv.1911.09333,
title = {Generating Diverse Translation by Manipulating Multi-Head Attention},
author = {Zewei Sun and Shujian Huang and Hao-Ran Wei and Xin-yu Dai and Jiajun Chen},
journal= {arXiv preprint arXiv:1911.09333},
year = {2019}
}
备注
Accepted by AAAI 2020