仅需 5% 注意力：高效长程文档级神经机器翻译
计算与语言
2023-09-26 v1
摘要
文档级神经机器翻译（DocNMT）通过引入文档级上下文信息，已被证明对处理语篇现象至关重要。最重要的方向之一是将整篇文档直接输入标准 Transformer 模型。在此情形下，由于注意力模块的二次复杂度，效率成为关键问题。现有研究或仅关注编码器部分（无法部署于序列到序列生成任务，如机器翻译（MT）），或面临显著的性能下降。在本工作中，我们保持翻译性能的同时，通过引入基于轻量注意力的额外选择层（该层选取一小部分待关注词元）实现了 20% 的加速。它利用原始注意力保障性能，并通过降维加速推理。实验结果表明，相较原始 Transformer，我们的方法可达到约 95% 的稀疏度（仅关注 5% 词元），并在注意力模块上节省 93% 的计算成本，同时保持性能。
引用
@article{arxiv.2309.14174,
title = {Only 5\% Attention Is All You Need: Efficient Long-range Document-level Neural Machine Translation},
author = {Zihan Liu and Zewei Sun and Shanbo Cheng and Shujian Huang and Mingxuan Wang},
journal= {arXiv preprint arXiv:2309.14174},
year = {2023}
}
备注
Accepted by AACL 2023