mHC-SSM：面向状态空间语言模型的流动-specialized适配器的单值约束超连接
摘要
单值约束超连接（mHC）引入一种以稳定性为动机的多流残差混合变体，通过Sinkhorn-Knopp投影将残差流混合矩阵约束到双偶斯蒂克矩阵的流形上。在此工作中，我们研究mHC式约束的多流残差拓扑是否有效迁移到状态空间模型（SSM）语言建模。我们在SSM模块周围实现静态mHC机制，通过将残差流扩展为多个平行流、通过单值约束的预混合将流聚合为单个SSM输入、通过单值约束的后混合将SSM输出散射回流中，并在每层应用Sinkhorn投影后的残差流混合。我们进一步引入流动-specialized适配器，通过共享瓶颈引入轻量级流特定容量，应用前的流聚合和SSM输出后散射前。我们在WikiText-2上评估了单流SSM、静态mHC SSM和带适配器的mHC SSM，使用相同的训练设置，并报告基于checkpoint的验证损失、perplexity、吞吐量和峰值GPU内存。根据报告的公平checkpoint评估，静态mHC将验证损失从6.3507降至6.2448，perplexity从572.91降至515.35，而带适配器的mHC进一步将验证损失降至6.1353，perplexity降至461.88。这些提升伴随着吞吐量从1025.52降至964.81和938.90个token/秒的适度下降，峰值内存从2365 MB增至2568 MB和3092 MB。结果表明，mHC启发的约束多流残差混合可在SSM语言模型中实现可测量的质量提升，流动-specialized适配器容量进一步以可预测的效率权衡提升性能。
关键词
引用
@article{arxiv.2605.08300,
title = {mHC-SSM: Manifold-Constrained Hyper-Connections for State Space Language Models with Stream-Specialized Adapters},
author = {Abdulvahap Mutlu and Şengül Doğan and Türker Tuncer},
journal= {arXiv preprint arXiv:2605.08300},
year = {2026}
}
备注
28 Pages, 3 Figures, all implementation code available at: https://github.com/abdulvahapmutlu/mhc-slm