学习动力学的等价性工具箱

深度学习的许多理论结果可追溯到神经网络在参数变换下的对称性或等价性。然而，现有分析通常是问题特定的，仅关注一阶后果，如守恒律，而二阶结构的含义则鲜有了解。我们发展了一个通用的等价性工具箱，产生关于学习动力学的耦合的一阶与二阶约束。该框架将经典 Noether 类分析扩展至三个方向：从梯度约束扩展到 Hessian 约束，从对称性扩展到一般等价性，从连续变换扩展到离散变换。在一阶，本框架将守恒律与隐式偏置关系统一为单个恒等式的特例。在二阶，它提供关于曲率的结构预测：哪些方向是平坦的或尖锐的、梯度如何与 Hessian 特征空间对齐，以及损失景观几何如何反映底层变换结构。我们通过几个应用实例说明该框架，既恢复已知结果，又导出新的表征，将变换结构与现代经验观察关于优化几何联系起来。