高效且可扩展地估计非线性回归的随机线性组合

近来，许多机器学习和统计模型，如非线性回归、单指标、多指标、变系数指标模型以及两层神经网络，都可被归约为或视为一种称为“非线性回归的随机线性组合”的新模型的特例。然而，由于该问题的高度非凸性，此前尚无研究探讨如何估计该模型。本文首次研究了如何高效且可扩展地估计该模型。具体而言，我们首先表明，在一些温和假设下，若变量向量 $x$ 为多元高斯分布，则存在一种算法，其输出向量以高概率具有 $O(\sqrt{\frac{p}{n}})$ 的 $\ell_2$ 范数估计误差，其中 $p$ 为 $x$ 的维度，$n$ 为样本数。证明的关键思想基于受 Stein 引理启发的观察。然后我们利用零偏变换将结果推广到 $x$ 有界且亚高斯的情形，这可视为经典 Stein 引理的推广。我们还表明，在一些附加假设下，存在一种算法，其输出向量以高概率具有 $O(\frac{1}{\sqrt{p}}+\sqrt{\frac{p}{n}})$ 的 $\ell_\infty$ 范数估计误差。我们也给出具体例子说明存在满足前述假设的链接函数。最后，对高斯和亚高斯两种情况，我们提出了一种更快的基于子采样的算法，并表明当子样本量足够大时，估计误差不会牺牲太多。两种情况的实验均支持了我们的理论结果。据我们所知，这是首个研究非线性回归的随机线性组合模型并给出理论保证的工作。