选择损失最小的样本使 SGD 具有鲁棒性
机器学习
2020-01-13 v1 机器学习
摘要
离群点的存在可能显著扭曲通过随机梯度下降(SGD)训练的机器学习模型的参数。本文提出简单 SGD 方法的一个简单变体:在每一步中,先选取 k 个样本的集合,再从中选择当前损失最小的一个,并用该选中样本执行类 SGD 更新。朴素 SGD 对应 k = 1,即无选择;k >= 2 代表一种新算法,然而其有效地最小化了一个非凸代理损失。我们的主要贡献是对该思想在由凸损失之和构成的机器学习问题中的鲁棒性性质进行理论分析;这些分析得到了线性回归与小尺度神经网络实验的支持。
引用
@article{arxiv.2001.03316,
title = {Choosing the Sample with Lowest Loss makes SGD Robust},
author = {Vatsal Shah and Xiaoxia Wu and Sujay Sanghavi},
journal= {arXiv preprint arXiv:2001.03316},
year = {2020}
}