具有门控博弈的深度在线凸优化

凸优化方法被广泛用作深度学习算法的构建模块。然而，其经验性成功的原因尚不清楚，因为现代卷积网络（convnets）包含整流单元和最大池化，既非光滑也非凸。因此标准保证不适用。本文给出了整流卷积网络（rectifier convnets）上梯度下降的首个收敛速率。证明利用了整流网络的特殊结构，该结构由施加在底层线性网络之上的二元激活/未激活门组成。该方法推广到最大池化、dropout 和 maxout。换言之，恰好推广到经验上表现最佳的神经网络。关键步骤是引入门控博弈（gated games），它是凸博弈的扩展，具有类似的收敛性质，能够捕捉整流器的门控函数。主要结果是整流卷积网络以由网络中单元的门控遗憾（gated-regret）所控制的速率收敛到临界点。主要结果的推论包括：(i) 对神经网络所学表示的博弈论描述；(ii) 用于训练神经网络的对数遗憾（logarithmic-regret）算法；以及 (iii) 用于分析神经网络中条件计算的正式框架，可应用于最近开发的注意力模型。