具有偏差与方差缩减的分布鲁棒优化
机器学习
2023-10-24 v1 机器学习
最优化与控制
摘要
我们考虑具有基于谱风险的不确定性集合和 -散度惩罚的分布鲁棒优化（DRO）问题。该形式包含常见的风险敏感学习目标，例如正则化条件风险价值（CVaR）和平均前- 损失。我们提出 Prospect，一种基于随机梯度的算法，仅需调节单个学习率超参数，并证明对于光滑正则化损失它具有线性收敛性。这与先前要么需要调节多个超参数、要么因有偏梯度估计或正则化不足而可能不收敛的算法形成对比。实证上，我们表明在涵盖表格、视觉和语言领域的分布偏移与公平性基准上，Prospect 的收敛速度可比随机梯度和随机鞍点法等基线快 2-3。
引用
@article{arxiv.2310.13863,
title = {Distributionally Robust Optimization with Bias and Variance Reduction},
author = {Ronak Mehta and Vincent Roulet and Krishna Pillutla and Zaid Harchaoui},
journal= {arXiv preprint arXiv:2310.13863},
year = {2023}
}