基于 Koopman 算子理论优化神经网络

Koopman 算子理论作为发现非线性动力系统潜在动力学的强大框架，近期被证明与神经网络训练密切关联。本工作中，我们首次利用这一关联。由于 Koopman 算子理论是线性理论，其在演化网络权重与偏置中的成功应用有望加速训练，尤其在深度网络背景下——其中优化本质为非凸问题。我们表明 Koopman 算子理论方法可对前馈全连接深度网络的权重与偏置在一段非平凡的训练时间范围内作出准确预测。在此窗口内，我们发现该方法比各类基于梯度下降的方法（如 Adam、Adadelta、Adagrad）快 10 倍以上，与我们的复杂度分析一致。最后我们强调了这一动力系统与神经网络理论迷人交叉中的开放问题。我们强调了可将结果扩展至更广网络类别与更大训练区间的附加方法，这将成为未来工作的重点。