具有未知协方差与异质噪声的重尾 corrupted 回归的谱最小二乘型方法

我们重新审视重尾 corrupted 最小二乘线性回归，假设有一个大小为 $n$ 的标签-特征样本，其中至多 $\epsilon n$ 个任意异常值。我们希望在给定满足 $y=\langle x,b^*\rangle+\xi$ 且 $(x,\xi)$ 重尾的标签-特征对 $(y,x)$ 这样的样本下，估计 $p$ 维参数 $b^*$。我们仅假设 $x$ 是常数为 $L>0$ 的 $L^4-L^2$ 超收缩的，且其协方差矩阵 $\Sigma$ 的最小特征值 $1/\mu^2>0$ 且有界条件数 $\kappa>0$。噪声 $\xi$ 可以任意依赖于 $x$ 且非对称，只要 $\xi x$ 具有有限协方差矩阵 $\Xi$。我们提出了一种基于幂方法的近最优且计算可行的估计量，假设对 $(\Sigma,\Xi)$ 及 $\Xi$ 的算子范数均未知。以至少 $1-\delta$ 的概率，我们提出的估计量达到统计速率 $\mu^2\Vert\Xi\Vert^{1/2}(\frac{p}{n}+\frac{\log(1/\delta)}{n}+\epsilon)^{1/2}$ 和崩溃点 $\epsilon\lesssim\frac{1}{L^4\kappa^2}$，两者在 $\ell_2$ 范数下均为最优，假设近最优最小样本量 $L^4\kappa^2(p\log p + \log(1/\delta))\lesssim n$（相差一个对数因子）。据我们所知，这是首个同时满足上述所有性质的计算可行算法。我们的估计量基于两阶段乘权更新算法。第一阶段估计关于（未知）预条件内积 $\langle\Sigma(\cdot),\cdot\rangle$ 的下降方向 $\hat v$。第二阶段在不知晓也不估计 $\Sigma$ 的情况下，估计关于（已知）内积 $\langle\cdot,\cdot\rangle$ 的下降方向 $\Sigma\hat v$。