通过 SGD 在 l1 损失上的在线鲁棒回归

我们考虑在线设定下的鲁棒线性回归问题，其中我们以流式方式逐一访问数据。更具体地，对于真实参数 $\theta^*$，我们考虑 corrupted Gaussian 线性模型 $y = \langle x , \ \theta^* \rangle + \varepsilon + b$，其中对抗噪声 $b$ 以概率 $\eta$ 可取任意值，否则为零。我们认为该对手是无知的（即 $b$ 与数据独立），因为这是唯一可能实现一致性的污染模型。当前算法依赖于掌握全部数据以识别并移除离群点。相反，我们在本工作中证明，在 $\ell_1$ 损失上的随机梯度下降以 $\tilde{O}( 1 / (1 - \eta)^2 n )$ 的速率收敛到真实参数向量，该速率与受污染观测值的大小无关。我们的证明依赖于高斯数据对非光滑 $\ell_1$ 损失的优雅平滑，以及 Polyak-Ruppert 平均 SGD 的经典非渐近分析。此外，我们提供了该简单且高度可扩展算法有效性的实验证据。