KromHC：采用Kronecker积残差矩阵的流形约束超连接
计算与语言
2026-01-30 v1 机器学习
摘要
超连接(HC)在神经网络(NN)中的成功也凸显了其训练不稳定和受限可扩展性的问题。流形约束超连接(mHC)通过将残差连接空间投射到Birkhoff多边形上来缓解这些挑战，但面临两个问题：1)其迭代Sinkhorn-Knopp(SK)算法并不总是产生精确的双偶尔矩阵；2)mHC在残差流宽度为n、特征维度为C时，导致不可接受的参数复杂度。最近提出的mHC-lite通过Birkhoff- von-Neumann定理对残差矩阵进行重新参数化，以保证双偶尔性，但也面临在参数复杂度中的阶乘爆炸。为解决这两个挑战，我们提出KromHC，该方法使用较小的双偶尔矩阵的Kronecker积来对残差矩阵进行参数化。通过在每个模式上的因子残差矩阵上强制流形约束，KromHC保证了残差矩阵的精确双偶尔性，同时将参数复杂度降低到。全面的实验表明，KromHC在显著减少可训练参数的同时，匹配甚至超过了最先进的(SOTA)mHC变体。代码已提供：https://github.com/wz1119/KromHC。
引用
@article{arxiv.2601.21579,
title = {KromHC: Manifold-Constrained Hyper-Connections with Kronecker-Product Residual Matrices},
author = {Wuyang Zhou and Yuxuan Gu and Giorgos Iacovides and Danilo Mandic},
journal= {arXiv preprint arXiv:2601.21579},
year = {2026}
}