RWKV-X：一种线性复杂度混合语言模型
计算与语言
2025-05-12 v2
摘要
本文介绍 RWKV-X，一种新型混合架构，将 RWKV 用于短程建模的效率与设计用于捕获长程上下文的稀疏注意力机制相结合。不同于以往依赖完整注意力层并保留二次复杂度的混合方法，RWKV-X 在训练中实现线性时间复杂度，在推理解码中实现恒定时间复杂度。我们展示了 RWKV-X 在 64K token 序列上持续预训练后，在 64K passkey 检索基准测试中几乎完美地达到准确率。在长上下文基准测试中，RWKV-X 持续优于之前的 RWKV-7 模型，同时在短上下文任务中保持强性能。这些结果突显了 RWKV-X 作为通用语言建模的可扩展且高效 backbone，能够在解码序列长达 100 万 token 时保持稳定的速度和内存使用。为促进进一步的研究和分析，我们已在 https://github.com/howard-hou/RWKV-X 上公开提供了模型 checkpoint 和相关代码。
引用
@article{arxiv.2504.21463,
title = {RWKV-X: A Linear Complexity Hybrid Language Model},
author = {Haowen Hou and Zhiyi Huang and Kaifeng Tan and Rongchang Lu and Fei Richard Yu},
journal= {arXiv preprint arXiv:2504.21463},
year = {2025}
}
备注
12 pages, typos corrected