利用键值记忆线性化 Transformer

具有线性时间复杂度的 Transformer 高效变体已被开发出来，以缓解原始 Transformer 的二次计算开销。其中包括 Linformer 等低秩投影方法以及基于核的 Transformer。尽管它们有独特优点，但与原始 Transformer 相比，它们在许多序列生成任务上通常存在性能下降，并且在生成为短时往往无法获得计算收益。我们提出 MemSizer，一种在短生成下也能提高效率并缩小性能差距的方法。它像 Linformer 一样将源序列投影到更低维表示，同时享有类似基于核的 Transformer 的高效循环式增量计算。这在推理时产生线性计算时间和常数内存复杂度。MemSizer 还采用轻量多头机制，使计算像单头模型一样轻量。我们展示了在机器翻译、抽取式文本摘要和语言建模这三个典型序列生成任务中，MemSizer 相比原始 Transformer 及其他高效 Transformer 变体提供了效率与精度之间更好的平衡。