通过正交超连接实现Jacobian谱保持的动力学正交性
机器学习
2026-03-05 v2 人工智能
摘要
近期的深度学习进展以Hyper-Connections (HC)为例，拓展了残差连接范式，引入更宽的残差流和多样化的连接模式。尽管这些创新带来了显著的性能提升，但会破坏残差连接的恒等映射属性，导致训练不稳定、可扩展性受限以及增加内存开销。为此，我们提出JPmHC（Jacobian谱保持受约束的超连接），该框架用作用于n条平行流的可训练线性混合器代替恒等跳连，同时显式控制梯度条件。通过在算子范数受限的流形上约束混合器M（例如双随机流、斯特ief尔流、格拉斯曼流），JPmHC可防止梯度病理现象并提升稳定性。JPmHC引入三个关键贡献：(i) 一项自由概率分析，预测结构化跳连的Jacobian谱，为混合器选择提供可操作的设计规则；(ii) 针对固定点投影的内存高效隐式微分，降低激活内存和同步开销；(iii) 通过Cayley变换实现的斯特ief尔约束混合器，确保正交性而无需事后归一化。在ARC-AGI上的实验表明，JPmHC在收敛速度、准确率和计算成本方面均优于双随机基线，其秩-格拉斯曼变体在两者之间保持一致，这与谱理论预测相符。作为HC的一种灵活且可扩展的变体，JPmHC推动了基于谱的稳定高效深度学习，为拓扑架构设计和基础模型演化提供了洞见。
引用
@article{arxiv.2602.18308,
title = {JPmHC Dynamical Isometry via Orthogonal Hyper-Connections},
author = {Biswa Sengupta and Jinhua Wang and Leo Brunswic},
journal= {arXiv preprint arXiv:2602.18308},
year = {2026}
}