深度 ReLU 神经网络的局部可辨识性：理论
统计理论
2022-12-21 v2 机器学习
统计理论
摘要
一个样本是否足以至少在局部确定神经网络的参数？为回答此问题，我们通过对给定深度 ReLU 神经网络的某些权重进行固定，引入了一种新的局部参数化方法。这使我们能够定义局部提升算子，其逆为某个高维空间光滑流形的图表。深度 ReLU 神经网络所实现的函数将局部提升与依赖于样本的一个线性算子相复合。我们从这一便利的表示中推导出一个几何的局部可辨识性的必要充分条件。考察切空间，该几何条件给出了：1/ 一个锐利且可检验的可辨识性必要条件，以及 2/ 一个锐利且可检验的局部可辨识性充分条件。这些条件的有效性可使用反向传播和矩阵秩计算进行数值检验。
引用
@article{arxiv.2206.07424,
title = {Local Identifiability of Deep ReLU Neural Networks: the Theory},
author = {Joachim Bona-Pellissier and François Malgouyres and François Bachoc},
journal= {arXiv preprint arXiv:2206.07424},
year = {2022}
}