语义感知注意力改进神经机器翻译
计算与语言
2022-09-08 v2
摘要
将句法结构整合到 Transformer 机器翻译中已显示出积极效果，但据我们所知，尚无工作尝试将语义结构如此整合。本文提出两种新颖的无参数方法，将语义信息注入 Transformer，二者均依赖于对（部分）注意力头进行语义感知掩码。其中一种方法通过场景感知自注意力（SASA）头在编码器上操作，另一种通过场景感知交叉注意力（SACrA）头在解码器上操作。我们在四个语言对上展示了相对于原始 Transformer 和句法感知模型的一致改进。我们进一步展示了在某些语言对中同时使用语义和句法结构时的额外增益。
引用
@article{arxiv.2110.06920,
title = {Semantics-aware Attention Improves Neural Machine Translation},
author = {Aviv Slobodkin and Leshem Choshen and Omri Abend},
journal= {arXiv preprint arXiv:2110.06920},
year = {2022}
}
备注
Accepted to *SEM 2022