WuNeng：带注意力的混合状态
计算与语言
2025-04-29 v1
摘要
WuNeng架构通过集成基于循环神经网络(RNN)的RWKV-7以及先进注意力机制，提升大型语言模型的表达性和计算能力，强调提高语境连贯性而非减少KV缓存大小。构建于Hymba的混合头概念之上，WuNeng通过额外的RWKV-7状态驱动头来丰富模型的表征能力，而非取代现有头，以增强模型的表示容量。跨头交互技术通过拼接、加法调制和门控融合，实现对标准头、状态驱动头和新引入的中间头之间动态协同，实现稳健的信息集成。此外，多标记状态处理机制利用连续RWKV-7状态捕捉复杂的序列级依赖，显著提升了表达性。尽管如此，这些增强仅需极少的额外参数，即可实现效率，同时使模型在复杂推理和序列生成任务中表现出色。WuNeng为现代神经网络架构在表达性和计算效率之间提供了新的标准。
引用
@article{arxiv.2504.19191,
title = {WuNeng: Hybrid State with Attention},
author = {Liu Xiao and Li Zhiyuan and Lin Yueyu},
journal= {arXiv preprint arXiv:2504.19191},
year = {2025}
}