神经网络是凸正则化器：两层网络的精确多项式时间凸优化表述
机器学习
2020-08-18 v2 计算复杂性
机器学习
摘要
我们针对具有修正线性单元（ReLU）的两层神经网络训练问题，发展出一种精确表示，将其表述为一个单一的凸规划，其变量数目关于训练样本数和隐藏神经元数均为多项式级别。我们的理论利用半无限对偶性和最小范数正则化。我们证明，采用标准权重衰减训练的 ReLU 网络等价于分块 惩罚凸模型。此外，我们证明某些标准卷积线性网络等价于半定规划，并且可在多项式大小的离散傅里叶特征空间中简化为 正则化线性模型。
引用
@article{arxiv.2002.10553,
title = {Neural Networks are Convex Regularizers: Exact Polynomial-time Convex Optimization Formulations for Two-layer Networks},
author = {Mert Pilanci and Tolga Ergen},
journal= {arXiv preprint arXiv:2002.10553},
year = {2020}
}