Drago：用于更快分布式鲁棒优化的原始-对偶耦合方差缩减
机器学习
2025-02-12 v2 机器学习
最优化与控制
摘要
我们考虑具有封闭、凸不确定性集的惩罚分布式鲁棒优化（DRO）问题，该设置涵盖了使用 f-DRO 和谱/L-风险最小化的学习。我们提出了 Drago，一种随机原始-对偶算法，将循环和随机化组件与 carefully 正则化的原始更新相结合以实现对偶方差缩减。鉴于其设计，Drago 在强凸-强凹 DRO问题上实现了最先进的线性收敛率，具体取决于原始和对偶条件数的细粒度依赖。理论结果通过回归和分类任务上的数值基准得到支持。
引用
@article{arxiv.2403.10763,
title = {Drago: Primal-Dual Coupled Variance Reduction for Faster Distributionally Robust Optimization},
author = {Ronak Mehta and Jelena Diakonikolas and Zaid Harchaoui},
journal= {arXiv preprint arXiv:2403.10763},
year = {2025}
}