Comba：利用闭环控制改进双线性 RNN
机器学习
2025-12-04 v5 计算与语言
摘要
最近的高效序列建模方法，如 Gated DeltaNet、TTT 和 RWKV-7，通过 Delta 学习规则监督循环记忆管理实现了性能提升。与之前的状态空间模型（如 Mamba）和门控线性注意力（如 GLA）不同，这些模型引入了循环状态和键向量之间的交互，在结构上类似于双线性系统。在本文中，我们首先引入双线性 RNN 的概念，并全面分析了这些模型的优缺点。然后，基于闭环控制理论，我们提出了一种名为 Comba 的新型双线性 RNN 变体，它采用标量加低秩状态转移，并具有状态反馈和输出反馈校正。我们还在 Triton 中实现了硬件高效的分块并行内核，并在大规模语料库上训练了具有 340M/1.3B 参数的模型。Comba 在语言和视觉建模中均展现出卓越的性能和计算效率。
引用
@article{arxiv.2506.02475,
title = {Comba: Improving Bilinear RNNs with Closed-loop Control},
author = {Jiaxi Hu and Yongqi Pan and Jusen Du and Disen Lan and Xiaqiang Tang and Qingsong Wen and Yuxuan Liang and Weigao Sun},
journal= {arXiv preprint arXiv:2506.02475},
year = {2025}
}