在潜在重尾反馈下更好的可扩展性
机器学习
2020-12-15 v1 机器学习
摘要
我们研究鲁棒梯度下降（RGD）技术的可扩展替代方案，可用于损失和/或梯度可能重尾的情形，尽管学习者对此未知。核心技术很简单：我们不在每一步尝试鲁棒地聚合梯度（这代价高昂并导致风险界中次优的维度依赖），而是将计算努力集中于基于可并行运行的廉价随机子过程集合，鲁棒地选择（或新构造）一个强候选。具体的选择过程取决于底层目标的凸性，但在所有情形下，我们的选择技术相当于一种鲁棒形式的提升弱学习器置信度。除形式化保证外，我们还提供了在亚高斯与重尾数据下对实验条件扰动的鲁棒性实证分析，以及应用于多种基准数据集。总体结论是，一个可扩展的过程，实现简单、易于并行化，保持了 RGD 方法的正式优点，但对大型学习问题的扩展性好得多。
引用
@article{arxiv.2012.07346,
title = {Better scalability under potentially heavy-tailed feedback},
author = {Matthew J. Holland},
journal= {arXiv preprint arXiv:2012.07346},
year = {2020}
}
备注
This work merges arXiv:2006.00784 and arXiv:2006.01364, providing additional empirical analysis using real-world benchmark datasets