Eagle 与 Finch：具有矩阵值状态和动态循环的 RWKV
计算与语言
2024-09-30 v4 人工智能
摘要
我们提出了 Eagle (RWKV-5) 和 Finch (RWKV-6)，这是对 RWKV (RWKV-4) 架构进行改进的序列模型。我们的架构设计进步包括多头矩阵值状态和动态循环机制，在保持 RNN 推理效率特征的同时提高了表达能力。我们引入了一个包含 1.12 万亿 token 的多语言语料库，以及基于贪婪匹配的快速分词器，以增强多语言能力。我们训练了四个参数规模从 0.46 到 75 亿的 Eagle 模型，以及两个参数规模分别为 16 亿和 31 亿的 Finch 模型，发现它们在广泛的基准测试中取得了具有竞争力的性能。我们在 HuggingFace 上以 Apache 2.0 许可证发布了我们所有的模型。模型地址：https://huggingface.co/RWKV 训练代码地址：https://github.com/RWKV/RWKV-LM 推理代码地址：https://github.com/RWKV/ChatRWKV 时间并行训练代码地址：https://github.com/RWKV/RWKV-infctx-trainer
引用
@article{arxiv.2404.05892,
title = {Eagle and Finch: RWKV with Matrix-Valued States and Dynamic Recurrence},
author = {Bo Peng and Daniel Goldstein and Quentin Anthony and Alon Albalak and Eric Alcaide and Stella Biderman and Eugene Cheah and Xingjian Du and Teddy Ferdinan and Haowen Hou and Przemysław Kazienko and Kranthi Kiran GV and Jan Kocoń and Bartłomiej Koptyra and Satyapriya Krishna and Ronald McClelland and Jiaju Lin and Niklas Muennighoff and Fares Obeid and Atsushi Saito and Guangyu Song and Haoqin Tu and Cahya Wirawan and Stanisław Woźniak and Ruichong Zhang and Bingchen Zhao and Qihang Zhao and Peng Zhou and Jian Zhu and Rui-Jie Zhu},
journal= {arXiv preprint arXiv:2404.05892},
year = {2024}
}