GRET：全局表示增强的Transformer
计算与语言
2020-02-25 v1
摘要
基于编码器-解码器框架的Transformer在多项自然语言生成任务上取得了state-of-the-art性能。编码器将输入句子中的词映射为隐藏状态序列，随后送入解码器以生成输出句子。这些隐藏状态通常对应于输入词并侧重于捕捉局部信息。然而，全局(句子级)信息很少被探索，这为生成质量的提升留下了空间。本文提出一种新颖的全局表示增强Transformer(GRET)，在Transformer网络中显式建模全局表示。具体而言，在所提模型中，由编码器生成用于全局表示的外部状态。然后在解码过程中将全局表示融合进解码器以提升生成质量。我们在机器翻译和文本摘要两项文本生成任务上开展实验。在四项WMT机器翻译任务和LCSTS文本摘要任务上的实验结果证明了所提方法在自然语言生成上的有效性。
引用
@article{arxiv.2002.10101,
title = {GRET: Global Representation Enhanced Transformer},
author = {Rongxiang Weng and Haoran Wei and Shujian Huang and Heng Yu and Lidong Bing and Weihua Luo and Jiajun Chen},
journal= {arXiv preprint arXiv:2002.10101},
year = {2020}
}
备注
Accepted by AAAI 2020