基于 Fisher 信息矩阵谱分解的简单 ReLU 网络逼近
机器学习
2026-05-13 v2 机器学习
摘要
研究了具有随机隐藏权重的 2 层 ReLU 神经网络的 Fisher 信息矩阵性质。对于这些网络，已知其特征值分布在几个特征子空间上高度集中。特别是，前三个特征子空间的特征值占 Fisher 信息矩阵迹的 97.7%，且独立于参数数量。在本文中，我们确定了对应这些主要特征子空间的函数空间。该函数空间由阶数不大于 2 的球谐函数组成。该结果与神经切线核 (neural tangent kernels) 的 Mercer 分解相关。
引用
@article{arxiv.2505.17907,
title = {Approximating Simple ReLU Networks based on Spectral Decomposition of Fisher Information},
author = {Ka Long Keith Ho and Yoshinari Takeishi and Junichi Takeuchi},
journal= {arXiv preprint arXiv:2505.17907},
year = {2026}
}
备注
18 pages, 1 figure, 1 table