FNetAR：基于自回归傅里叶变换的 Token 混合
计算与语言
2021-07-26 v1 机器学习
摘要
在本文中，我们研究了 FNet 算法的自回归推广，其中标准 Transformer 架构中的自注意力层被一个基于傅里叶变换的简单稀疏均匀采样过程所替代。使用 Wikitext-103 基准，我们证明了在因果语言建模任务上，与 Transformer-XL 基线 (24.2 ppl) 相比，FNetAR 保持了最先进的性能 (25.8 ppl)，且仅使用了一半数量的自注意力层，从而为进一步证明具有重度复合注意力机制的深度神经网络的冗余性提供了证据。自回归傅里叶变换很可能可用于大多数基于 Transformer 的时间序列预测模型的参数缩减。
引用
@article{arxiv.2107.10932,
title = {FNetAR: Mixing Tokens with Autoregressive Fourier Transforms},
author = {Tim Lou and Michael Park and Mohammad Ramezanali and Vincent Tang},
journal= {arXiv preprint arXiv:2107.10932},
year = {2021}
}
备注
final experimental results forthcoming