规模转换假设：神经网络训练中解耦动力学的基础

尽管深度神经网络（DNN）在实际应用中取得了成功，但其内部的训练动力学仍然难以刻画。在基于 ReLU 的模型中，给定输入所引发的激活模式决定了网络在其中表现为仿射函数的分段线性区域。基于这种几何现象，我们调查是否存在两种时间尺度的训练行为：一个早期阶段表现为激活模式发生显著变化，后期阶段则主要在激活区域基本稳定的情况下进行权重更新。我们首先证明了一个局部稳定性属性：在参数和输入的零测集外，足够小的参数扰动会保持固定输入的激活模式，从而在激活区域内实现局部仿射行为。随后我们经验性地追踪了权重和激活模式在全连接网络、卷积网络以及 Transformer 模型中的逐迭代变化，激活模式记录于 ReLU 前馈（MLP/FFN）子模块中，使用固定的验证子集。经过评估的设置显示，激活模式的变化比权重更新幅度早 3 倍消失，表明晚期训练常常在相对稳定的激活区域内进行。这些发现为监控训练动力学提供了具体且与体系结构无关的工具，进一步动机了对分段线性网络进行解耦优化策略的研究。为保证可重复性，代码和实验配置将在接受后公开。