通过库珀曼算子理论将神经网络层表示为线性算子
星系天体物理
2024-09-04 v1 太阳与恒星天体物理
摘要
简单神经网络的卓越性能常被归因于其非线性激活函数。然而，线性视角下对神经网络的理解与控制更为可及。我们从神经网络的动力系统视角出发，借助库珀曼算子理论及其与动态模式分解（DMD）的联系，为线性化动力系统提供了框架，通过将系统嵌入合适的可观测空间来实现。我们将神经网络重新表述为动力系统，演示可将预训练的多层感知器（MLP）中的非线性层替换为有限维线性算子。此外，我们分析DMD的特征值和奇异值分解的右奇异向量，提供证据表明时延坐标为库珀曼理论线性化网络层提供了直观且高效的可观测空间。因此，我们用DMD模型预测替换在银杏数据集上训练的MLP层，实现最高达97.3%的模型准确率（原始模型为98.4%）。我们还替换在MNIST数据集上训练的MLP层，实现最高达95.8%的准确率（原始模型为97.2%）。
引用
@article{arxiv.2409.01307,
title = {Experimental and computational study of ethanolamine ices at astrochemical conditions},
author = {R Ramachandran and Milan Sil and Prasanta Gorai and J K Meka and S Pavithraa and J -I Lo and S -L Chou and Y -J Wu and P Janardhan and B -M Cheng and Anil Bhardwaj and Vıctor M. Rivilla and N J Mason and B Sivaraman and Ankan Das},
journal= {arXiv preprint arXiv:2409.01307},
year = {2024}
}
备注
18 pages, 6 figures. Accepted for the publication in The Astrophysical Journal