ℓ_q-球上高维线性回归的极小极大估计率
摘要
考虑标准线性回归模型 \y = \Xmat \betastar + w，其中 \y \in \real^\numobs 是观测向量，\Xmat \in \real^{\numobs \times \pdim} 是设计矩阵，\betastar \in \real^\pdim 是未知回归向量，w \sim \mathcal{N}(0, \sigma^2 I) 是加性高斯噪声。本文研究了在假设 \betastar 属于某个 \ell_{\qpar}-球 \Ballq(\myrad)（其中 \qpar \in [0,1]）的情况下，对于 \ell_\rpar-损失和 \ell_2-预测损失的 \betastar 估计的极小极大收敛率。我们证明，在设计矩阵 \Xmat 的适当正则性条件下，\ell_2-损失和 \ell_2-预测损失的极小极大误差以 \Rq \big(\frac{\log \pdim}{n}\big)^{1-\frac{\qpar}{2}} 为尺度。此外，我们提供了对于所有 \rpar \in [1, +\infty], \rpar \neq \qpar 的 \ell_{\rpar}-范数下极小极大风险的下界。我们的下界证明本质上是信息论性质的，基于法诺不等式和关于球 \Ballq(\myrad) 的度量熵的结果，而上界证明则是直接且构造性的，涉及对 \ell_{\qpar}-球上的最小二乘的直接分析。对于特殊情况 q = 0，与通过计算高效的 ℓ₁-松弛方法实现的 ℓ₂-风险比较表明，尽管此类方法可以达到常数因子内的极小极大率，但它们对设计矩阵 \Xmat 的要求比涉及 ℓ₀-球上最小二乘的算法稍强。
引用
@article{arxiv.0910.2042,
title = {Minimax rates of estimation for high-dimensional linear regression over $\ell_q$-balls},
author = {Garvesh Raskutti and Martin J. Wainwright and Bin Yu},
journal= {arXiv preprint arXiv:0910.2042},
year = {2010}
}
备注
Presented in part at the Allerton Conference on Control, Communication and Computer, Monticello, IL, October 2009