使用坐标梯度下降的鲁棒监督学习

本文考虑了当特征和标签都可能被破坏（以重尾数据和/或破坏行的形式）时，使用线性方法进行监督学习的问题。我们引入了将坐标梯度下降作为学习算法与偏导数鲁棒估计器相结合的方法。这导致了鲁棒统计学习方法，其数值复杂度与基于经验风险最小化的非鲁棒方法几乎相同。主要思想很简单：虽然使用梯度下降的鲁棒学习需要鲁棒估计整个梯度以更新所有参数的计算成本，但在坐标梯度下降中，可以使用单个偏导数的鲁棒估计器立即更新参数。我们证明了源于此思想的算法泛化误差的上界，在风险具有和不具有强凸性假设的情况下，同时控制了优化误差和统计误差。最后，我们在一个名为 linlearn 的新 Python 库中提出了该方法的高效实现，并通过广泛的数值实验证明，对于该问题，我们的方法在鲁棒性、统计性能和数值效率之间引入了一个新的有趣折衷。