状态空间并不足够：机器翻译需要注意力机制
计算与语言
2023-04-26 v1 人工智能
摘要
序列结构化状态空间（S4）是近期提出的序列模型，已在视觉、语言建模和音频等多种任务中成功应用。得益于其数学表述，它将输入压缩为单一隐藏状态，能够捕捉长程依赖，同时避免了对注意力机制的需求。本工作中，我们将S4应用于机器翻译（MT），并在WMT'14和WMT'16上评估了若干编码器-解码器变体。与在语言建模中的成功相反，我们发现S4落后Transformer约4个BLEU点，且反直觉地难以处理长句。最后，我们表明这一差距由S4无法在单一隐藏状态中概括完整源句所致，并展示可通过引入注意力机制缩小该差距。
引用
@article{arxiv.2304.12776,
title = {State Spaces Aren't Enough: Machine Translation Needs Attention},
author = {Ali Vardasbi and Telmo Pessoa Pires and Robin M. Schmidt and Stephan Peitz},
journal= {arXiv preprint arXiv:2304.12776},
year = {2023}
}