超越Birkhoff多面体：谱谱约束超连接
机器学习
2026-03-24 v1 人工智能
摘要
超连接(HC)将残差连接推广到多个流中，采用残差矩阵进行跨流特征混合以丰富模型表达性。然而，无约束的混合会破坏残差连接固有的恒等映射属性，导致训练不稳定。为此，采用Sinkhorn迭代或置换参数化将这些矩阵限制在Birkhoff多面体(双偶定稀矩阵)上的Manifold约束超连接(mHC)及其变体。我们揭示了该多面体约束的三个局限性：(1)恒等退化，学习矩阵围绕恒等矩阵收缩，降低跨流相互作用；(2)表达性瓶颈，由于非负性约束阻止减性特征解缔；(3)参数化效率低下，表现为不稳定的Sinkhorn迭代或置换参数化的阶乘规模开销。为克服这些缺陷，我们提出谱谱约束超连接(sHC)。通过将可行集从刚性多面体几何偏移到谱范数球，sHC允许负数项，释放减性相互作用以实现选择性特征多样化。该转变消除不稳定的Sinkhorn投影和阶乘参数化，实现具有表达性、非退化的残差矩阵，同时保持训练稳定性。
关键词
引用
@article{arxiv.2603.20896,
title = {Beyond the Birkhoff Polytope: Spectral-Sphere-Constrained Hyper-Connections},
author = {Zhaoyi Liu and Haichuan Zhang and Ang Li},
journal= {arXiv preprint arXiv:2603.20896},
year = {2026}
}
备注
16 pages