图上梯度稀疏参数估计的树投影梯度下降

我们研究梯度稀疏参数向量 $\boldsymbol{\theta}^* \in \mathbb{R}^p$ 的估计,该向量在底层图 $G$ 上具有强梯度稀疏性 $s^*:=\|\nabla_G \boldsymbol{\theta}^*\|_0$。给定观测 $Z_1,\ldots,Z_n$ 以及一个光滑凸损失函数 $\mathcal{L}$,其中 $\boldsymbol{\theta}^*$ 最小化总体风险 $\mathbb{E}[\mathcal{L}(\boldsymbol{\theta};Z_1,\ldots,Z_n)]$,我们提出通过投影梯度下降算法估计 $\boldsymbol{\theta}^*$,该算法迭代地并将梯度步长近似投影到在 $G$ 的低度生成树上具有小梯度稀疏性的向量空间上。我们证明,在损失的适当限制强凸性和光滑性假设下,所得估计量达到平方误差风险 $\frac{s^*}{n} \log (1+\frac{p}{s^*})$(直至一个独立于 $G$ 的乘法常数)。相比之下,以往的多项式时间算法仅被证明在更专门的设定中,或在对 $G$ 和/或 $\nabla_G \boldsymbol{\theta}^*$ 的稀疏模式附加假设下达到该保证。作为我们通用框架的应用,我们将结果应用于具有随机设计的线性模型和广义线性模型示例。