深度神经网络的几何与谱对齐 I
机器学习
2026-05-05 v1 微分几何
摘要
深度残差架构可建模为接近恒等 Jacobian 的乘积。本文证明了关于 Frobenius 归一化层因子奇异谱的确定性商几何估计,强调归一化的顶部径向 Cartan 坐标和拟合幂律图。对于满秩因子,映射从 到正锥,方法是 ,然后映射到有序特征值数据。在 Frobenius 归一化下,精确的幂律谱形成一个 trace-归一化的 Cartan 轨道。该轨道是秩上的 Gibbs 家族、Fisher 信息线,以及 Bures--Wasserstein 曲线,线元为 乘以 Fisher 信息。主要刚性定理是一种灵感感知的边际不等式:界面径向幅度、非回溯松弛和已签名残差变化控制拟合 Cartan 坐标的位移。在零松弛的精确图中,深度为 的预算给出指数漂移的阶为 ;一般情况下,松弛和残差增量会扩大该界限。我们将标量顶部径向与完整 Cartan 谱控制分离,这也需要 Bures/Hellinger 残差变化。我们证明了近似幂律和度量图版本、逆向下界、Fisher--KL/Bures 活动估计,以及归一化残差链的近恒等展开。近恒等结果验证了传输预算;图的质量仍可衡量。有效秩是谱能量的分位数,给出有限宽度的幂律尾界限和稳健的秩窗过渡估计。经验的静态权重指数轮廓作为诊断工具;完整验证还需要相同算子链的界面预算、松弛和残差。
引用
@article{arxiv.2605.02108,
title = {Geometric and Spectral Alignment for Deep Neural Network I},
author = {Ziran Liu and Wei Wang and Jinhao Wang and Pengcheng Wang and Xinyi Sui and Cihan Ruan and Nam Ling and Wei Jiang},
journal= {arXiv preprint arXiv:2605.02108},
year = {2026}
}
备注
41 pages, 1 figure