具有常数时间推理复杂度的托普利兹神经网络加速方法
计算与语言
2023-11-16 v1
摘要
托普利兹神经网络（TNNs）在各种序列建模任务中表现出优异性能。它们优于常用的基于 Transformer 的模型，同时具有对数线性的时空复杂度。另一方面，状态空间模型（SSMs）在语言建模中性能低于 TNNs，但具有常数推理复杂度的优势。本文旨在结合 TNNs 与 SSMs 的优势，在推理时将 TNNs 转换为 SSMs，从而使 TNNs 获得与 SSMs 相同的常数推理复杂度。为此，我们将转换过程表述为一个优化问题并给出闭式解。我们展示了如何将目标方程转化为 Vandermonde 线性系统问题，该系统可利用离散傅里叶变换（DFT）高效求解。值得注意的是，我们的方法无需训练且保持数值稳定性。它也可应用于任何基于 LongConv 的模型。为评估有效性，我们在不同设置下对语言建模任务进行了大量实验。此外，我们将方法与其它梯度下降解进行比较，凸显了本文方法更优的数值稳定性。源代码见 https://github.com/OpenNLPLab/ETSC-Exact-Toeplitz-to-SSM-Conversion。
引用
@article{arxiv.2311.08756,
title = {Accelerating Toeplitz Neural Network with Constant-time Inference Complexity},
author = {Zhen Qin and Yiran Zhong},
journal= {arXiv preprint arXiv:2311.08756},
year = {2023}
}
备注
Accepted to EMNLP 2023. Yiran Zhong is the corresponding author. The source code is available at https://github.com/OpenNLPLab/ETSC-Exact-Toeplitz-to-SSM-Conversion