二阶线性模型

我们研究一类称为二阶线性模型(SLM)的基本回归模型。SLM将线性模型扩展到高阶函数空间，近来引起了相当的研究兴趣。然而，由于传统梯度下降学习框架的几个基本局限，如何在完全通用性下使用非凸求解器高效学习SLM仍然是一个开放问题。在本研究中，我们试图从一种无梯度方法来解决此问题，我们称之为矩估计序列(MES)方法。我们表明传统的梯度下降启发式方法受分布偏度偏置，因此不再是学习SLM的最佳实践。基于MES框架，我们设计了一个非凸交替迭代过程，在$O(kd)$内存和单次遍历数据集的情况下训练$d$维秩-$k$ SLM。所提方法全局线性收敛，在检索$O[k^{2}d\cdot\mathrm{polylog}(kd/\epsilon)]$样本后达到$\epsilon$恢复误差。此外，我们的理论分析揭示并非所有SLM都可以在每个亚高斯分布上学习。当实例从所谓的$\tau$-MIP分布采样时，SLM可以通过$O(p/\tau^{2})$样本学习，其中$p$和$\tau$是取决于分布偏度和峰度的正常数。对于非MIP分布，一个额外的无对角oracle是必要且充分的以保证SLM的可学习性。数值模拟验证了我们在采样复杂度上的界限的尖锐性和我们算法的线性收敛率。