均匀噪声下线性回归中 $\ell_{\infty}$ 估计量的非渐近界

Chebyshev 或 $\ell_{\infty}$ 估计量是求解线性回归中普通最小二乘的一种非常规替代方案。其定义为 $\ell_{\infty}$ 目标函数的最小化子 \begin{align*} \hat{\boldsymbol{\beta}} := \arg\min_{\boldsymbol{\beta}} \|\boldsymbol{Y} - \mathbf{X}\boldsymbol{\beta}\|_{\infty}. \end{align*} 在协变量数固定下 Chebyshev 估计量的渐近分布近来已被研究（Knight, 2020），但有限样本保证及向高维情形的推广仍属开放问题。本文针对噪声服从均匀分布 $\varepsilon_i\sim U([-a,a])$（其中 $a$ 已知或未知）的回归设定，发展了 Chebyshev 估计量 $\hat{\boldsymbol{\beta}}$ 的估计误差 $\|\hat{\boldsymbol{\beta}}-\boldsymbol{\beta}^*\|_2$ 的非渐近上界。在对（随机）设计矩阵 $\mathbf{X}$ 相对温和的假设下，我们可以以高概率将误差率界定为 $\frac{C_p}{n}$，其中某常数 $C_p$ 依赖于维度 $p$ 及设计的分布。此外，我们说明存在某些设计使 Chebyshev 估计量（近乎）极小极大最优。另一方面，我们也论证存在某些设计使该估计量在常数 $C_p$ 对 $p$ 的依赖上表现次优。另外我们表明，在噪声为均匀的前提下，“Chebyshev 的 LASSO”在高维情形下相对于常规 LASSO 具有优势。具体而言，我们论证在关于稀疏水平与环境维度相对于样本量增长速率的某些假设下，它实现了远快的估计速率。