线性神经网络的完全积单调性提升及其凸优化重构
机器学习
2026-05-19 v1 最优化与控制
摘要
我们证明，在平方损失下，深度线性神经网络的训练问题可在广义完全积锥上的提升空间中得到精确的凸优化重构。该重构与原始非凸问题具有相同的最小值为零，且在提升变量上是线性的，所有非凸性均编码在锥约束中。其扩张提升维数仅取决于输入和输出维度，与网络深度和数据点数量无关，瓶颈宽度仅通过标量约束体现。该构建通过将多层参数化简化为双线性分解，将其提升到秩受限的半正定规划中，通过互补条件表达秩约束，并应用完全积提升实现。虽然最终的该公式在一般情况下仍难以计算，但它给出了由线性因子引起的非凸性的精确锥表示，并将线性神经网络训练与 copositive 规划相联系。
关键词
引用
@article{arxiv.2605.17692,
title = {Exact Convex Reformulations of Linear Neural Networks via Completely Positive Lifting},
author = {Karthik Prakhya and Alp Yurtsever},
journal= {arXiv preprint arXiv:2605.17692},
year = {2026}
}