利用高阈值激活恢复深度网络的最低层
机器学习
2020-02-21 v2 机器学习
摘要
为学习神经网络提供可证明的保证是机器学习理论的核心挑战。大多数先前工作针对单层隐藏层网络给出参数恢复保证，然而实践中使用的网络具有多个非线性层。在本工作中，我们展示如何将此类结果加强至更深的网络——我们解决在如下假设下揭示深度神经网络最低层的问题：最低层在应用激活函数前使用高阈值，上层网络可建模为良态多项式，且输入分布为高斯分布。
引用
@article{arxiv.1903.09231,
title = {Recovering the Lowest Layer of Deep Networks with High Threshold Activations},
author = {Surbhi Goel and Rina Panigrahy},
journal= {arXiv preprint arXiv:1903.09231},
year = {2020}
}