一种用于分析序列神经网络的算子理论方法
机器学习
2023-02-24 v4 动力系统
摘要
分析深度神经网络的内在机制是机器学习中的一项基本任务。现有工作提供的分析有限，或依赖于局部理论，如不动点分析。相比之下，我们提出使用根植于Koopman理论的算子理论方法来分析训练好的神经网络，即神经网络的Koopman分析（KANN）。我们方法的关键在于Koopman算子，它是一个线性对象，全局地表示网络动力学的主导行为。Koopman算子的线性特性便于通过其 eigenvectors 和 eigenvalues 进行分析。我们的方法揭示，后者的特征分解蕴含与神经网络内部运作相关的语义信息。例如，在情感分析任务中，特征向量突出正、负n-gram；类似地，在ECG分类问题中，特征向量捕捉健康心跳信号的显著特征。
引用
@article{arxiv.2102.07824,
title = {An Operator Theoretic Approach for Analyzing Sequence Neural Networks},
author = {Ilan Naiman and Omri Azencot},
journal= {arXiv preprint arXiv:2102.07824},
year = {2023}
}
备注
Accepted to the 37th AAAI Conference on Artificial Intelligence (AAAI23)