基于交叉熵的单隐层神经网络可保证恢复
机器学习
2020-05-07 v3 机器学习
摘要
我们研究数据分类的模型恢复问题，其中训练标签由一个具有 sigmoid 激活函数的单隐层神经网络（也称为单层前馈网络）生成，目标是恢复该神经网络的权重。我们考虑两种网络模型：全连接网络（FCN）和非重叠卷积神经网络（CNN）。我们证明，对于高斯输入，只要样本复杂度足够大，基于交叉熵的经验风险在真实值的一个局部邻域内一致地表现出强凸性与平滑性。这意味着若在该邻域内初始化，梯度下降会线性收敛到一个临界点上，该点与真实值可证明地接近。此外，我们表明这样的初始化可通过张量方法获得。这建立了使用交叉熵通过梯度下降进行经验风险最小化来学习单隐层神经网络的全局收敛保证，其样本与计算复杂度相对于网络输入维度是近最优的，且无需诸如每次迭代要求一组新样本之类的不现实假设。
引用
@article{arxiv.1802.06463,
title = {Guaranteed Recovery of One-Hidden-Layer Neural Networks via Cross Entropy},
author = {Haoyu Fu and Yuejie Chi and Yingbin Liang},
journal= {arXiv preprint arXiv:1802.06463},
year = {2020}
}