CNN 架构的隐式凸正则化器：两层与三层网络的多项式时间凸优化
机器学习
2021-03-19 v3 计算复杂性
机器学习
摘要
我们研究带 ReLU 激活的卷积神经网络（CNN）的训练，并引入具有关于数据样本数、神经元数和数据维度多项式复杂度的精确凸优化公式。更具体地，我们开发了利用半无限对偶性的凸分析框架，以获得若干两层和三层 CNN 架构的等价凸优化问题。我们首先证明两层 CNN 可通过 范数正则化凸程序进行全局优化。接着我们表明，带单个 ReLU 层的多层循环 CNN 训练问题等价于一个鼓励谱域稀疏性的 正则化凸程序。我们还将结果扩展至带两个 ReLU 层的三层 CNN。此外，我们将方法扩展至不同池化方法，从而阐明隐式架构偏置作为凸正则化器的性质。
引用
@article{arxiv.2006.14798,
title = {Implicit Convex Regularizers of CNN Architectures: Convex Optimization of Two- and Three-Layer Networks in Polynomial Time},
author = {Tolga Ergen and Mert Pilanci},
journal= {arXiv preprint arXiv:2006.14798},
year = {2021}
}
备注
Accepted for Spotlight Presentation at ICLR 2021