Net-Trim：具有性能保证的深度神经网络凸剪枝

我们引入并分析了一种用于深度神经网络模型缩减的新技术。虽然大型网络在理论上能够学习任意复杂的模型，但过拟合和模型冗余会对预测精度和模型方差产生负面影响。我们的 Net-Trim 算法以逐层方式对已训练网络进行剪枝（稀疏化），通过求解一个凸优化程序来移除每一层的连接。该程序在每一层寻找一组稀疏权重，使得该层的输入和输出与原始训练模型保持一致。该算法及其相关分析适用于以整流线性单元（ReLU）作为非线性激活函数的神经网络。我们给出了该算法的并行和级联两种版本。后者可以在保持相同泛化性能的情况下获得略微更简单的模型，而前者可以以分布式方式计算。在这两种情况下，Net-Trim 都显著减少了网络中的连接数量，同时还提供了足够的正则化以略微降低泛化误差。我们还对初始网络与重训练模型之间的一致性进行了数学分析。为了分析模型的样本复杂度，我们推导了恢复稀疏变换矩阵的一般充分条件。对于以长度为 $N$ 的独立高斯随机向量作为输入的单层网络，我们证明，如果网络响应可以用每个节点最多 $s$ 个非零权重来描述，则这些权重可以从 $\mathcal{O}(s\log N)$ 个样本中学习得到。