通过块坐标几何中值下降在高维中实现鲁棒训练
机器学习
2021-06-17 v1 分布式、并行与集群计算
最优化与控制
机器学习
摘要
几何中值（\textsc{Gm}）是统计学中用于实现未 corrupted 数据鲁棒估计的经典方法；在严重损坏下，它达到0.5的最优崩溃点。然而，其计算复杂度使得将其用于鲁棒化高维优化问题中的随机梯度下降（SGD）不可行。本文表明，通过每次仅对明智选择的块坐标应用\textsc{Gm}并采用记忆机制，可在光滑非凸问题上保留0.5的崩溃点，且具有与带\textsc{Gm}的SGD相当的非渐近收敛速率。
引用
@article{arxiv.2106.08882,
title = {Robust Training in High Dimensions via Block Coordinate Geometric Median Descent},
author = {Anish Acharya and Abolfazl Hashemi and Prateek Jain and Sujay Sanghavi and Inderjit S. Dhillon and Ufuk Topcu},
journal= {arXiv preprint arXiv:2106.08882},
year = {2021}
}