SimpleTRON：具有 O(N) 复杂度的简单 Transformer
计算与语言
2022-06-29 v4
摘要
在本文中，我们提出，基于 Transformer 的模型中广泛使用的点积两两匹配注意力层对模型性能是冗余的。注意力在其原始表述下，更应被视为一种人类层面的工具，用于探索和/或可视化序列数据中的相关性分数。然而，其构造方式导致了显著的计算复杂度。相反，我们提出 SimpleTRON：具有 O(N) 复杂度的简单 Transformer，一种简单且快速的替代方案，无任何近似，且不同于其他近似模型，没有任何架构相关的开销，因此可被视为纯粹的线性类 Transformer 模型。据我们所知，该架构在 Long-Range Arena 基准的若干任务上优于现有的亚二次注意力近似模型。此外，我们表明 SimpleTRON 可受益于从预训练大语言模型（LLM）的权重迁移，因为其参数可完全迁移。
引用
@article{arxiv.2111.15588,
title = {SimpleTRON: Simple Transformer with O(N) Complexity},
author = {Uladzislau Yorsh and Alexander Kovalenko and Vojtěch Vančura and Daniel Vašata and Pavel Kordík and Tomáš Mikolov},
journal= {arXiv preprint arXiv:2111.15588},
year = {2022}
}