论 Transformer 解码器的子层功能
计算与语言
2020-10-07 v1 人工智能
摘要
已有大量工作解释基于 Transformer 的编码器-解码器架构中用于神经机器翻译（NMT）的编码器；与此同时，尽管解码器作用关键，其仍基本未被考察。在翻译过程中，解码器必须通过对来自编码器的源语言文本与先前步骤生成的目标语言前缀加以考量来预测输出词符。本工作中，我们研究基于 Transformer 的解码器如何利用来自源语言与目标语言的信息——开发一种通用探针任务以评估信息如何经每个解码器层中各模块传播。我们在三个主要翻译数据集（WMT En-De、En-Fr 与 En-Zh）上进行了广泛实验。我们的分析揭示了解码器在何时与何处利用不同来源。基于这些洞见，我们证明每个 Transformer 解码器层中的残差前馈模块可在性能损失极小的情况下被丢弃——这显著减少了计算量与参数数量，并因而显著提升训练与推理速度。
引用
@article{arxiv.2010.02648,
title = {On the Sub-Layer Functionalities of Transformer Decoder},
author = {Yilin Yang and Longyue Wang and Shuming Shi and Prasad Tadepalli and Stefan Lee and Zhaopeng Tu},
journal= {arXiv preprint arXiv:2010.02648},
year = {2020}
}
备注
Findings of the 2020 Conference on Empirical Methods in Natural Language Processing (Long)