中文

深度神经网络的几何与谱对齐 I

机器学习 2026-05-05 v1 微分几何

摘要

深度残差架构可建模为接近恒等 Jacobian 的乘积。本文证明了关于 Frobenius 归一化层因子奇异谱的确定性商几何估计,强调归一化的顶部径向 Cartan 坐标和拟合幂律图。对于满秩因子,映射从 GL(d)\mathrm{GL}(d) 到正锥,方法是 AAAA\mapsto A^\top A,然后映射到有序特征值数据。在 Frobenius 归一化下,精确的幂律谱形成一个 trace-归一化的 Cartan 轨道。该轨道是秩上的 Gibbs 家族、Fisher 信息线,以及 Bures--Wasserstein 曲线,线元为 d/4d/4 乘以 Fisher 信息。主要刚性定理是一种灵感感知的边际不等式:界面径向幅度、非回溯松弛和已签名残差变化控制拟合 Cartan 坐标的位移。在零松弛的精确图中,深度为 LL 的预算给出指数漂移的阶为 (logM)/L(\log M)/L;一般情况下,松弛和残差增量会扩大该界限。我们将标量顶部径向与完整 Cartan 谱控制分离,这也需要 Bures/Hellinger 残差变化。我们证明了近似幂律和度量图版本、逆向下界、Fisher--KL/Bures 活动估计,以及归一化残差链的近恒等展开。近恒等结果验证了传输预算;图的质量仍可衡量。有效秩是谱能量的分位数,给出有限宽度的幂律尾界限和稳健的秩窗过渡估计。经验的静态权重指数轮廓作为诊断工具;完整验证还需要相同算子链的界面预算、松弛和残差。

关键词

引用

@article{arxiv.2605.02108,
  title  = {Geometric and Spectral Alignment for Deep Neural Network I},
  author = {Ziran Liu and Wei Wang and Jinhao Wang and Pengcheng Wang and Xinyi Sui and Cihan Ruan and Nam Ling and Wei Jiang},
  journal= {arXiv preprint arXiv:2605.02108},
  year   = {2026}
}

备注

41 pages, 1 figure