Flash Inference：长卷积序列模型及更广泛场景的近线性推理

虽然变换器（Transformer）是最近大量进步中序列生成模型的核心，但其计算复杂度随序列长度呈二次增长。已有若干亚二次架构用于解决此计算问题。其中一些架构，包括长卷积序列模型（LCSM），如 Hyena，能在训练阶段解决此问题，但在推理阶段仍保持二次复杂度。我们提出一种加速 LCSM 精确推理的方法，使其计算复杂度降至准线性 $O(L\log^2L)$，并阐明实现此目标的关键性质，进而提出一种通用框架以利用这些性质。我们的做法灵感来自对�松多项式插值的先前研究，基于一种平铺（tiling）方式，有助于降低内存移动并共享计算。该方法还能几乎完全并行化位置混合部分网络层的计算。我们在 Hyena 上提供了一个概念实现，实验表明其在端到端推理上比标准推理快高达 $7.8\times$，其中位置混合部分提升了 $110\times$。