深度神经网络的几何与谱对齐 II
机器学习
2026-05-05 v1 微分几何
摘要
本文发展了几何与谱对齐（GSA） for 残差 Jacobian 链的角向和静态通道组成部分。从 Cartan 坐标刚性和拟合有效秩窗口开始，我们研究了主导奇异子空间如何在相邻层之间传输，以及由此产生的有限矩阵如何在物理通道坐标中显示。主要结果是确定性的、经过边际验证的结果。我们界定了完整接口传输与其主导窗截断之间的误差，添加拟合尾部误差，以便对经验谱进行认证以适应 Gibbs--Cartan 尾模型，并区分源模式入射与完全物理输入输出通道入射。给定行组和活跃支持，物理对齐矩阵正交分解为核心加上重叠加上噪声。活跃列间隙、成对重叠边际和噪声界限组合成静态证书半径，在此范围内，完整传输和截断传输会产生相同的活跃支持、成对入射图、SRS 集、枢纽列以及核心/重叠/噪声掩码。更精细的 SC/SA/ST 标签的不变通道映射需要额外的行能量和轮廓相关性边际，表述为明确的扰动测试。实证部分报告了这些证书量在 CNN、语言模型和视觉/扩散 backbone 上的矩阵和块能量热图。图表被解释为有限维度的测量；完整地属于物理 GSA 证书域需要检查第 10 节中所述的数值边际协议。
引用
@article{arxiv.2605.02111,
title = {Geometric and Spectral Alignment for Deep Neural Network II},
author = {Ziran Liu and Wei Wang and Jinhao Wang and Pengcheng Wang and Xinyi Sui and Cihan Ruan and Nam Ling and Wei Jiang},
journal= {arXiv preprint arXiv:2605.02111},
year = {2026}
}
备注
81 pages, 5 figures