分布鲁棒优化的规模化方法

Daniel Levy; Yair Carmon; John C. Duchi; Aaron Sidford

分布鲁棒优化的规模化方法

最优化与控制 2020-12-14 v2 机器学习机器学习

作者: Daniel Levy , Yair Carmon , John C. Duchi , Aaron Sidford

摘要

我们提出并分析了针对具有条件风险价值（CVaR）和 $\chi^2$ 散度不确定性集的凸损失分布鲁棒优化的算法。我们证明，我们的算法所需的梯度评估次数与训练集大小和参数数量无关，使其适用于大规模应用。对于 $\chi^2$ 不确定性集，这是文献中首个此类保证；而对于 CVaR，我们的保证在不确定性水平上呈线性缩放，而非如先前工作那样呈二次缩放。我们还提供了下界，证明了我们的算法在 CVaR 和 $\chi^2$ 问题的惩罚版本上的最坏情况最优性。我们的主要技术贡献是对批量鲁棒风险估计的偏差以及由 [Blanchet & Glynn, 2015] 提出的多层蒙特卡洛梯度估计器方差的新颖界。在 MNIST 和 ImageNet 上的实验证实了我们的算法的理论缩放特性，其效率比全批量方法高 9--36 倍。

关键词

分布鲁棒优化条件风险价值卡方散度凸损失梯度评估多层蒙特卡洛下界

引用

@article{arxiv.2010.05893,
  title  = {Large-Scale Methods for Distributionally Robust Optimization},
  author = {Daniel Levy and Yair Carmon and John C. Duchi and Aaron Sidford},
  journal= {arXiv preprint arXiv:2010.05893},
  year   = {2020}
}

备注

63 pages, NeurIPS 2020

分布鲁棒优化的规模化方法

摘要

关键词

引用

备注

相关论文