向量输出 ReLU 神经网络问题是余正规划：双层网络的凸分析与时多项式算法

我们描述了双层向量输出 ReLU 神经网络训练问题的凸半无穷对偶。该半无穷对偶容许有限维表示，但其支撑集位于一个难以刻画的凸集上。特别地，我们证明该非凸神经网络训练问题等价于一个有限维凸余正（copositive）规划。我们的工作是首个确立神经网络全局最优与余正规划全局最优之间这一强关联的。因此我们展示了神经网络如何通过半非负矩阵分解隐式地尝试求解余正规划，并从中得出关键见解。我们描述了首批可证明找到向量输出神经网络训练问题全局最小值的算法，这些算法在固定数据秩时关于样本数多项式、但关于维度指数。然而，在卷积架构下，计算复杂度仅关于滤波器大小指数，而关于其他所有参数多项式。我们描述了可利用软阈值 SVD 精确求得该神经网络训练问题全局最优的情形，并给出了一个余正松弛，其对某些问题类保证精确，且在实践中对应于随机梯度下降的解。