广义线性模型BFGS拟牛顿方法的统计与计算复杂度

梯度下降（GD）方法已被广泛用于求解广义线性模型（GLMs）中的参数估计，GLMs是当链接函数可为非线性时线性模型的推广。在具有多项式链接函数的GLMs中，已证明在高信噪比（SNR）情形下，由于问题的强凸性与光滑性，GD线性收敛并在对数次迭代内达到最终所需精度。相反，在低SNR设定下，问题变为局部凸，GD以更慢的速率收敛，并需要多项式次迭代才能达到所需精度。尽管牛顿法可用于解决低SNR情形下损失函数的平坦曲率问题，但其计算成本在高维设定下令人望而却步，因为其复杂度为$\mathcal{O}(d^3)$，其中$d$为问题维度。为弥补GD与牛顿法的不足，我们提出使用BFGS拟牛顿方法求解GLMs的参数估计，其每次迭代成本为$\mathcal{O}(d^2)$。当SNR较低时，对于次数为$p$的多项式链接函数GLMs，我们证明BFGS的迭代线性收敛至总体最小二乘损失函数的最优解，且BFGS算法的压缩系数与牛顿法相当。此外，线性速率的压缩因子与问题参数无关，仅依赖于链接函数次数$p$。同时，对于含$n$个样本的经验损失，我们证明在次数为$p$的多项式链接函数GLMs低SNR设定下，BFGS迭代至多经过$\log(n/d)$次迭代达到$\mathcal{O}((d/n)^{\frac{1}{2p+2}})$的最终统计半径。