通过 Koopman 算子理论将神经网络层表示为线性运算
机器学习
2024-09-04 v1
摘要
简单神经网络的卓越性能常被归因于其非线性激活函数。然而，线性视角下对神经网络的理解与控制要更加可及。我们从神经网络的动力学系统视角出发，提供了新的视角，通过运用 Koopman 算子理论及其与动态模式分解（DMD）的联系。二者为将动力学系统嵌入到合适的可观测空间以实现线性化提供了框架。通过将神经网络重新表述为动力学系统，我们演示了可以将预训练的多层感知器（MLP）中的非线性层替换为有限维的线性算子。此外，我们分析了 DMD 的特征值和奇异值分解（SVD）的右奇异向量，提供证据表明时延坐标为 Koopman 理论线性化网络层提供了直观且高度有效的可观测空间。因此，我们用 DMD 模型预测的 MLP 层取代了在阴阳图数据集上训练的 MLP 层，实现了最高达 97.3% 的模型准确率，较原始的 98.4% 略有下降。此外，我们用 DMD 模型替换在 MNIST 数据集上训练的 MLP 层，实现了测试集上最高达 95.8% 的准确率，较原始的 97.2% 略有下降。
引用
@article{arxiv.2409.01308,
title = {Representing Neural Network Layers as Linear Operations via Koopman Operator Theory},
author = {Nishant Suresh Aswani and Saif Eddin Jabari and Muhammad Shafique},
journal= {arXiv preprint arXiv:2409.01308},
year = {2024}
}