基于门控状态空间的长程语言建模
机器学习
2022-07-05 v3 计算与语言
摘要
状态空间模型已被证明在建模长程依赖方面是有效的，尤其是在序列分类任务上。在这项工作中，我们专注于对英文书籍、Github 源代码和 ArXiv 数学文章进行自回归序列建模。基于近期关于门控激活函数有效性的进展，我们提出了一种名为门控状态空间（Gated State Space, GSS）的新层，并表明它在 TPU 上的训练速度显著快于 S4 的对角版本（即 DSS），与多个经过良好调优的基于 Transformer 的基线相当具有竞争力，并且在处理更长输入时表现出零样本泛化能力，同时实现起来十分直接。最后，我们展示了利用自注意力来建模局部依赖可进一步提升 GSS 的性能。
引用
@article{arxiv.2206.13947,
title = {Long Range Language Modeling via Gated State Spaces},
author = {Harsh Mehta and Ankit Gupta and Ashok Cutkosky and Behnam Neyshabur},
journal= {arXiv preprint arXiv:2206.13947},
year = {2022}
}