利用 Koopman 算子提取神经网络中的非线性

非线性在深度神经网络中起着至关重要的作用。本文研究了神经网络非线性的必要程度。为此，我们采用了 Koopman 算子、扩展动态模态分解（extended dynamic mode decomposition）和张量火车（tensor-train）格式。Koopman 算子方法是最近在物理学和非线性科学中发展起来的；Koopman 算子处理的是可观测量空间而非状态空间中的时间演化。由于我们可以用可观测量空间中的线性性来替代状态空间中的非线性，因此它是理解非线性系统复杂行为的一个有希望的候选方法。在此，我们分析了用于分类问题的已训练神经网络。结果表明，在数值实验中，用 Koopman 矩阵替换非线性中间层足以获得足够的精度。此外，我们确认即使在较高的压缩率下，对 Koopman 矩阵进行剪枝也能提供足够的精度。这些结果表明了利用 Koopman 算子方法提取神经网络中某些特征的可能性。