经验群组分布鲁棒优化及其扩展的高效算法

在本文中，我们研究了群组分布鲁棒优化（GDRO）的经验对应问题，其旨在最小化 $m$ 个不同群组中的最大经验风险。我们将经验 GDRO 表述为一个$\textit{双层}$有限和凸 - 凹极小极大优化问题，并开发了一种称为 ALEG 的算法以利用其特殊结构。ALEG 是一种双层随机原始 - 对偶算法，它将方差缩减技术整合到改进的镜像邻近（mirror prox）例行程序中。为了利用双层有限和结构，我们提出了一种简单的群组采样策略，以构建具有更小 Lipschitz 常数的随机梯度，随后对所有群组执行方差缩减。理论分析表明，ALEG 在计算复杂度为 $\mathcal{O}\left(\frac{m\sqrt{\bar{n}\ln{m}}}{\varepsilon}\right)$ 内达到 $\varepsilon$-精度，其中 $\bar n$ 是 $m$ 个群组中的平均样本数。值得注意的是，我们的方法优于最先进方法 $\sqrt{m}$ 倍。基于 ALEG，我们进一步开发了一种称为 ALEM 的两阶段优化算法，以处理经验极小极大超额风险优化（MERO）问题。ALEM 的计算复杂度与 ALEG 几乎相当，超越了现有方法的速率。