含偏置项的宽浅层神经网络的有限样本辨识
机器学习
2022-11-10 v1 机器学习
摘要
人工神经网络是依赖于有限数量参数（通常编码为权重和偏置项）的函数。从输入-输出对的有限样本中辨识网络参数常被称为“教师-学生模型”，该模型已成为理解训练与泛化的流行框架。尽管该问题在最坏情况下是NP完全的，但迅速增长的文献——在添加适当的分布假设后——已建立了对神经元数量为（为输入维度）的两层网络的有限样本辨识。对于的范围，问题变得更加困难，而对于同样由偏置项参数化的网络，所知甚少。本文通过为这类含偏置项的更宽浅层网络提供构造性方法和有限样本辨识的理论保证来填补这一空白。我们的方法基于一个两步流程：首先，通过利用二阶信息恢复权重的方向；接着，通过合适的代数求值识别符号，并通过梯度下降的经验风险最小化恢复偏置项。数值结果证明了我们方法的有效性。
引用
@article{arxiv.2211.04589,
title = {Finite Sample Identification of Wide Shallow Neural Networks with Biases},
author = {Massimo Fornasier and Timo Klock and Marco Mondelli and Michael Rauchensteiner},
journal= {arXiv preprint arXiv:2211.04589},
year = {2022}
}