Koopman 模态分析在神经网络中的应用
机器学习
2020-06-23 v1 动力系统
机器学习
摘要
我们将神经网络的训练过程视为作用于高维权重空间上的动力系统。每个 epoch 是由优化算法和损失函数所诱导的映射的一次应用。利用该诱导映射，我们可以在权重空间上施加观测函数并测量其演化。观测函数的演化由与该诱导动力系统相关联的 Koopman 算子给出。我们利用 Koopman 算子的谱与模态来实现上述目标。我们的方法能够先验地确定网络深度；判断网络权重是否初始化不良，从而在训练过久之前允许重启；加速训练时间。此外，我们的方法有助于实现噪声抑制并提升鲁棒性。我们展示了如何利用 Koopman 谱来确定架构所需的层数。此外，我们展示了如何通过监测谱来阐明训练过程的收敛与非收敛，特别是特征值在 1 附近聚集的存在性如何决定何时终止学习过程。我们还展示了如何利用 Koopman 模态有选择地剪枝网络以加速训练过程。最后，我们表明引入基于负 Sobolev 范数的损失函数能够实现对被大量噪声污染的多尺度信号的重建。
引用
@article{arxiv.2006.11765,
title = {Applications of Koopman Mode Analysis to Neural Networks},
author = {Iva Manojlović and Maria Fonoberova and Ryan Mohr and Aleksandr Andrejčuk and Zlatko Drmač and Yannis Kevrekidis and Igor Mezić},
journal= {arXiv preprint arXiv:2006.11765},
year = {2020}
}