通过模块化线性化注意力改进自回归 NLP 任务
计算与语言
2023-06-27 v3 人工智能
摘要
各种自然语言处理（NLP）任务基于其在边缘端或其他资源受限环境中的最终应用，需要高效且小巧的模型。虽然先前的研究已缩减了这些模型的规模，但在不造成显著性能影响的前提下提升计算效率仍然困难，尤其是对于自回归任务。本文提出模块化线性化注意力（MLA），其结合了多种高效注意力机制，包括 cosFormer，以在获得显著加速的同时最大化推理质量。我们在若干自回归 NLP 任务上验证了该方法，包括语音到文本神经机器翻译（S2T NMT）、语音到文本同声传译（SimulST）以及自回归文本到频谱图，注意到在 TTS 上的效率提升，以及在训练和推理期间 NMT 与 SimulST 的具竞争力性能。
引用
@article{arxiv.2304.08453,
title = {Improving Autoregressive NLP Tasks via Modular Linearized Attention},
author = {Victor Agostinelli and Lizhong Chen},
journal= {arXiv preprint arXiv:2304.08453},
year = {2023}
}
备注
Submitted and accepted at ECML PKDD 2023