面向神经机器翻译的显式句子压缩方法
计算与语言
2019-12-30 v1
摘要
最先进的基于 Transformer 的神经机器翻译（NMT）系统仍遵循标准的编码器-解码器框架，其中源句表示可由带自注意力机制的编码器很好地完成。尽管基于 Transformer 的编码器能在其生成的源句表示中有效捕获一般信息，但代表句子要旨的骨干信息并未被专门关注。本文提出一种显式句子压缩方法以增强 NMT 的源句表示。实践中，使用一个显式句子压缩目标来学习句子中的骨干信息。我们提出三种方式，包括源端融合、目标端融合和双端融合，将压缩后的句子整合进 NMT。我们在 WMT 英译法和英译德翻译任务上的实证测试表明，所提句子压缩方法相较强基线显著提升了翻译性能。
引用
@article{arxiv.1912.11980,
title = {Explicit Sentence Compression for Neural Machine Translation},
author = {Zuchao Li and Rui Wang and Kehai Chen and Masao Utiyama and Eiichiro Sumita and Zhuosheng Zhang and Hai Zhao},
journal= {arXiv preprint arXiv:1912.11980},
year = {2019}
}
备注
Working in progress, part of this work is accepted in AAAI-2020