高维鲁棒 $M$-估计：任意损坏与重尾

我们考虑稀疏约束 $M$-估计问题，其中解释变量和响应变量均具有重尾（四阶矩有界），或存在任意损坏比例。我们关注 $k$-稀疏高维情形，其中变量数 $d$ 与样本量 $n$ 满足 $n \sim k \log d$。我们定义一种称为鲁棒下降条件（RDC）的自然条件，并证明若梯度估计量满足 RDC，则鲁棒硬阈值（使用此梯度估计量的 IHT）保证获得良好的统计收敛速率。本文的贡献在于表明该 RDC 是一个足够灵活的概念，可恢复已知结果并获得新的鲁棒性结果。具体而言，新结果包括：(a) 对于具有重尾（四阶矩有界）解释和响应变量的 $k$-稀疏高维线性回归与逻辑回归，线性时间可计算的中位数-of-均值梯度估计量满足 RDC，因此鲁棒硬阈值是最优极小极大估计；(b) 当存在 $O(1/\sqrt{k}\log(nd))$ 比例的任意损坏而非重尾时，近线性时间可计算的裁剪梯度估计量满足 RDC，因此鲁棒硬阈值是最优极小极大估计。我们在合成数据和真实世界美国股票数据上展示了该方法在稀疏线性、逻辑回归及稀疏精度矩阵估计中的有效性。