基于 Koopman 算子理论的已训练神经网络信用分配
机器学习
2022-12-05 v1
摘要
神经网络的信用分配问题是指评估每个网络组件对最终输出的贡献。对于未训练的神经网络，解决该问题的方法在训练阶段的参数更新与模型变革中作出了重大贡献。然而，已训练神经网络上的该问题很少受到关注，但它在神经网络修补、规约与验证中正扮演越来越重要的角色。基于 Koopman 算子理论，本文给出了一种处理已训练神经网络信用分配问题的线性动力学替代视角。将一个神经网络视为子动力学序列的复合，我们利用步延迟嵌入来捕获各组件的快照，尽可能精确地刻画所建立的映射。为规避嵌入过程中遇到的维数差异问题，我们精心设计了称为最小线性维对齐的辅助线性层的复合与分解，并给出严格的形式化保证。随后，每个组件由 Koopman 算子逼近，并推导出雅可比矩阵及其对应行列式，类似于反向传播。进而，我们可为每个网络组件的信用分配定义一种具有代数可解释性的度量。此外，在典型神经网络上的实验证明了所提方法的有效性。
引用
@article{arxiv.2212.00998,
title = {Credit Assignment for Trained Neural Networks Based on Koopman Operator Theory},
author = {Zhen Liang and Changyuan Zhao and Wanwei Liu and Bai Xue and Wenjing Yang and Zhengbin Pang},
journal= {arXiv preprint arXiv:2212.00998},
year = {2022}
}
备注
9 pages, 4 figures