按数据维度参数化的 ReLU 网络训练的计算复杂性

理解训练带修正线性单元（ReLU）的简单神经网络的计算复杂性近来已成为一个研究热点。为弥补文献中的空白并补充相关结果，我们针对以各种损失函数训练两层 ReLU 网络的参数化复杂性给出了若干结果。在简要讨论其他参数后，我们重点分析训练数据维度 $d$ 对计算复杂性的影响。我们给出了关于参数 $d$ 的 W[1]-困难性意义上的运行时间下界，并证明已知的暴力搜索策略本质上是最优的（在指数时间假设下）。与先前工作相比，我们的结果对更广泛的损失函数成立，包括对所有 $p\in[0,\infty]$ 的 $\ell^p$ 损失。特别地，我们将一个针对常数 $d$ 和凸损失函数的已知多项式时间算法推广到更一般的损失函数类，并在这些情形下也与我们的运行时间下界相匹配。