Koopman 自编码器学习神经表示动力学
泛函分析
2025-05-20 v1
摘要
本文探讨了一个简单问题：我们能否使用动力学系统理论来建模神经网络的内部转换？我们引入 Koopman 自编码器来捕捉神经表示随网络层如何演变，将这些表示视为动力学系统的状态。我们的ethods 学习一个旁模型，用于预测神经表示从输入到输出的转换，具有两个关键优势。首先，，通过自编码器对原始状态进行提升，它在线性空间中运行，使编辑动态变得简单。其二，它通过对自编码目标进行正则化来保留原始表示的拓扑结构。我们演示，这些旁模型自然地复制了神经网络中观察到的逐步拓扑简化。作为实际应用，我们展示了我们的做法如何实现对 Yin-Yang 和 MNIST 分类任务中的针对性类别忘却。
关键词
引用
@article{arxiv.2505.12807,
title = {A remark on the growth rate of operator semigroups under resolvent bounds},
author = {Filippo Dell'Oro},
journal= {arXiv preprint arXiv:2505.12807},
year = {2025}
}