旗簇：深度网络对齐的几何框架
机器学习
2026-05-12 v1 人工智能
摘要
对齐是指深度网络中相邻权重矩阵发展出兼容子空间取向的趋势，它是梯度流、神经坍缩以及跨架构表征相似性的基础。尽管有广泛的实证记录，这些现象一直缺乏统一的理论处理：现有的解释都是事后的，每一种都是用手头的数学工具拟合特定的观察结果。我们通过推导逐层对齐固有所要求的数学结构来逆转这一方向。利用几何不变量理论，我们证明对齐几何具有由旗簇给出的规范闭半稳定层，并且子空间交集维度是其唯一的重参数化不变可观测量，从而确立了子空间度量不是经验约定而是数学必然。这一统一框架产生了两个动力学推论：脊正则化以权重衰减设定的指数速率驱动子空间对齐，而非线性激活则引发对精确基对齐的换位子阻碍，这通常存在于非线性网络中而在线性网络中不存在。这些共同从第一性原理而非事后分析给出了神经坍缩中 Level-2/3 层级的几何解释。换位子大小和头部子空间重叠进一步作为权重空间窗口，用于观察内部对齐结构，且无需前向传播。在多层感知机、残差网络和预训练语言模型上的实验支持了所提出的诊断方法并界定了其适用范围。
引用
@article{arxiv.2605.09861,
title = {Flag Varieties: A Geometric Framework for Deep Network Alignment},
author = {Jingchuan Xiao and Xinyi Sui and Cihan Ruan},
journal= {arXiv preprint arXiv:2605.09861},
year = {2026}
}