HGRN2：具有状态扩展的门控线性 RNN
计算与语言
2024-08-20 v2
摘要
分层门控线性 RNN（HGRN，\citealt{HGRN}）在语言建模中展现出了极具竞争力的训练速度和性能，同时提供了高效的推理。然而，HGRN 的循环状态大小仍然相对较小，限制了其表达能力。为了解决这个问题，我们引入了一种简单的基于外积的状态扩展机制，该机制在不引入任何额外参数的情况下显著扩大了循环状态大小。这一增强也为 HGRN2 提供了线性注意力解释，从而实现了硬件高效的训练。我们的大量实验验证了 HGRN2 在不同设置下相对于 HGRN 的一致优势，并表明其与其他循环模型相比具有竞争力。
引用
@article{arxiv.2404.07904,
title = {HGRN2: Gated Linear RNNs with State Expansion},
author = {Zhen Qin and Songlin Yang and Weixuan Sun and Xuyang Shen and Dong Li and Weigao Sun and Yiran Zhong},
journal= {arXiv preprint arXiv:2404.07904},
year = {2024}
}
备注
Accept to COLM 2024. Yiran Zhong is the corresponding author. Zhen Qin and Songlin Yang contributed equally to this work. The source code is available at https://github.com/OpenNLPLab/HGRN2