训练单节点 ReLU 神经网络的近似算法
最优化与控制
2019-05-23 v2
摘要
训练具有 ReLU 激活函数的单节点神经网络（One-Node-ReLU）是深度学习中的一个基本优化问题。在本文中，我们首先证明了训练 One-Node-ReLU 的 NP 困难性。然后我们提出一种求解 One-Node-ReLU 的近似算法，其运行时间为 ，其中 为样本数量， 为预定义的整常数。除 外，该算法不需要预处理或参数调优。我们在多种情形下分析了该算法的性能。首先，给定任意训练样本数据集，我们证明该算法对训练 One-Node-ReLU 问题保证 近似。由此，在可实现情形（即训练误差为零时），该近似算法达到 One-Node-ReLU 问题的全局最优解。其次，我们假设训练样本数据来自一个具有 ReLU 激活函数的底层单节点神经网络，其输出受到高斯噪声扰动。在此情形下，我们证明同一近似算法保证一个好得多的渐近近似比，该近似比与样本数量 无关。最后，我们进行了广泛的实证研究并得出两点结论。其一，该近似算法结合某些启发式方法优于梯度下降算法。其二，该近似算法的求解可用作梯度下降的起始点——这种组合显著优于梯度下降。
引用
@article{arxiv.1810.03592,
title = {An Approximation Algorithm for training One-Node ReLU Neural Network},
author = {Santanu S. Dey and Guanyi Wang and Yao Xie},
journal= {arXiv preprint arXiv:1810.03592},
year = {2019}
}