Memformer：一种用于序列建模的记忆增强型 Transformer
计算与语言
2022-04-14 v2
摘要
Transformer 在序列建模中取得了显著成功。然而，这些模型存在效率问题，因为它们需要存储所有历史 token 级表示作为记忆。我们提出 Memformer，一种用于序列建模的高效神经网络，其利用外部动态记忆来编码和检索过去信息。我们的模型在处理长序列时实现了线性时间复杂度和常数记忆空间复杂度。我们还提出了一种新的优化方案，记忆回放反向传播（MRBP），其以显著降低的记忆需求促进了通过时间的长程反向传播。实验结果表明，Memformer 在使用少 8.1 倍的记忆空间且推理快 3.2 倍的情况下，取得了与基线相当的性能。对注意力模式的分析表明，我们的外部记忆槽可以跨时间步编码并保留重要信息。
引用
@article{arxiv.2010.06891,
title = {Memformer: A Memory-Augmented Transformer for Sequence Modeling},
author = {Qingyang Wu and Zhenzhong Lan and Kun Qian and Jing Gu and Alborz Geramifard and Zhou Yu},
journal= {arXiv preprint arXiv:2010.06891},
year = {2022}
}