随机加速原始对偶方法的高概率与风险规避保证
最优化与控制
2023-07-17 v2
摘要
我们考虑随机强凸-强凹（SCSC）鞍点（SP）问题，这类问题频繁出现于从分布鲁棒学习到博弈论以及机器学习中的公平性等诸多应用中。我们聚焦于近期提出的随机加速原始对偶算法（SAPD），该加速算法在多种设定下具有最优复杂度。我们给出了收敛到鞍点邻域的高概率保证，该邻域反映了加速收敛行为。我们还针对一类梯度噪声为加性高斯噪声的随机SCSC二次问题，给出了迭代序列极限协方差矩阵的解析公式。这使我们能够建立该类二次问题的下界，表明我们的分析就高概率界对参数的依赖而言是紧的。我们还提供了风险规避收敛分析，刻画了到鞍点距离的“条件风险价值”、“熵风险价值”以及 -散度，突出了在任意迭代终止算法所获得的近似解所关联的偏差与风险之间的权衡。
引用
@article{arxiv.2304.00444,
title = {High Probability and Risk-Averse Guarantees for a Stochastic Accelerated Primal-Dual Method},
author = {Yassine Laguel and Necdet Serhat Aybat and Mert Gürbüzbalaban},
journal= {arXiv preprint arXiv:2304.00444},
year = {2023}
}