PairConnect：一种计算高效的注意力 MLP 替代方案
机器学习
2021-06-16 v1 计算与语言
摘要
Transformer 模型在自然语言处理中展现了优越的性能。Transformer 中的点积自注意力使我们能够建模词之间的交互。然而，这种建模带来了显著的计算开销。在这项工作中，我们重新审视与 Transformer（特别是多头注意力）相关的内存-计算权衡，并展示一种内存占用高但计算效率显著更高的 Transformer 替代方案。我们的方案称为 PairConnect，一种多层感知机（MLP），通过显式的成对词嵌入来建模词之间的两两交互。因此，PairConnect 用简单的嵌入查找替代了自点积。我们从数学上证明，尽管是一个 MLP，我们这种计算高效的 PairConnect 严格比 Transformer 更具表达能力。我们在语言建模任务上的实验表明，PairConnect 可以在显著降低推理相关计算成本的同时取得与 Transformer 相当的结果。
引用
@article{arxiv.2106.08235,
title = {PairConnect: A Compute-Efficient MLP Alternative to Attention},
author = {Zhaozhuo Xu and Minghao Yan and Junyan Zhang and Anshumali Shrivastava},
journal= {arXiv preprint arXiv:2106.08235},
year = {2021}
}