归一化神经网络的自动优化

我们考虑矩阵流形的几何特性，提出了针对神经网络归一化参数的自动优化方法。利用关于 Frobenius 范数的逐层权重归一化来约束 Lipschitz 常数并增强梯度可靠性，从而使训练好的网络适用于控制应用。我们的方法首先初始化网络，并根据初始化网络的 $\ell^{2}$-$\ell^{2}$ 增益对数据进行归一化。然后，所提出的算法采用基于高维球面上指数映射的更新结构。给定一个更新方向（例如负 Riemannian 梯度方向），我们提出了两种不同的方法来确定下降步长。第一种算法利用目标函数沿定义在球体组合流形上的更新曲线的自动微分。无需显式构造 Hessian 矩阵即可利用方向二阶导数信息。第二种算法通过针对神经网络的架构感知代理，利用代理优化框架。借助这些新进展，所提出的方法避免了学习率的手动调优和调度，从而为优化归一化神经网络提供了自动化流程。