一维ReLU神经网络模型的样条表示与冗余性
数值分析
2022-08-01 v1 数值分析
摘要
我们分析一维深度ReLU神经网络(ReLU DNN)的结构,并与具有任意节点的连续分段线性(CPL)样条函数模型比较。特别地,我们给出一种递归算法,将决定ReLU DNN的参数集转换为CPL样条函数的参数集。利用该表示,我们证明在去除ReLU DNN已知的由正缩放性质引起的参数冗余后,所有剩余参数相互独立。此外,我们证明具有一、二或三个隐藏层的ReLU DNN可表示具有 个任意给定节点(断点)的CPL样条函数,其中 是决定归一化ReLU DNN(至输出层参数前)的实数参数个数。我们的发现有助于对ReLU DNN施加先验条件以得到具有指定断点与函数值的输出。
引用
@article{arxiv.2207.14609,
title = {Spline Representation and Redundancies of One-Dimensional ReLU Neural Network Models},
author = {Gerlind Plonka and Yannick Riebe and Yurii Kolomoitsev},
journal= {arXiv preprint arXiv:2207.14609},
year = {2022}
}
备注
31 pages, 5 figurs