Scifaro

中文

简单 ReLU 网络的神经切线核与 Fisher 信息矩阵

机器学习 2025-07-28 v2 机器学习

作者: Jun'ichi Takeuchi , Yoshinari Takeishi , Noboru Murata , Kazushi Mimura , Ka Long Keith Ho , Hiroshi Nagaoka

在 arXiv 上查看 ↗ PDF ↗

摘要

我们推导了具有随机隐藏权重的 2 层 ReLU 网络的 Fisher 信息矩阵和神经切线核（NTK）。我们讨论了两者之间的关系作为线性变换，并展示了具有具体特征函数形式的 NTK 的谱分解。我们还获得了由 2 层神经网络表示的函数的近似公式。

关键词

神经切线核 Fisher 信息矩阵 ReLU 网络谱分解随机隐藏权重

引用

@article{arxiv.2507.18555,
  title  = {Neural Tangent Kernels and Fisher Information Matrices for Simple ReLU Networks with Random Hidden Weights},
  author = {Jun'ichi Takeuchi and Yoshinari Takeishi and Noboru Murata and Kazushi Mimura and Ka Long Keith Ho and Hiroshi Nagaoka},
  journal= {arXiv preprint arXiv:2507.18555},
  year   = {2025}
}