在线且无分布假设的鲁棒性：带 Huber 污染的回归与上下文赌博机

在这项工作中，我们从对抗鲁棒性的角度重新审视了两个经典的高维在线学习问题，即线性回归与上下文赌博机。算法鲁棒统计的现有工作做出了很强的分布假设，以确保输入数据均匀分布或来自良好的生成模型。是否有可能在完全没有分布假设的情况下实现强鲁棒性保证，即我们被要求解决的任务序列是自适应且对抗性地选择的？我们对线性回归和上下文赌博机都给出了肯定的回答。事实上，我们的算法在传统方法失败的地方取得了成功。特别地，我们展示了对 Huber 回归以及更一般地任何凸 M-估计量的强下界。我们的方法基于一种新颖的交替最小化方案，该方案将普通最小二乘法与一个简单的凸规划交错进行，该凸规划在谱约束下寻找分布的最优重加权。我们的结果获得了关于污染水平 $\eta$ 的近乎最优的依赖关系，达到了最优崩溃点，并且自然适用于特征向量通过核映射隐式表示的无限维设置。