用于求解决策依赖分布非凸 Minimax 问题的自适应随机梯度下降上升算法

本文研究决策依赖分布的随机困战问题（SMDD），其中随机变量的概率分布依赖于决策变量。对于目标函数为非凸（强凹）的 SMDD，我们提出一种自适应随机梯度下降上升算法（ASGDA）以寻找 SMDD 的平稳点，该算法在学习未知分布图的同时同步优化困战问题。当分布图遵循位置尺度模型时，我们证明 ASGDA 在任意 $\delta>0$ 的情况下，可在 $\mathcal{O}\left(\epsilon^{-\left(4+\delta\right)} \right)$ 内找到 $\epsilon$ 平稳点，在非凸-强凹和非凸-凹情形下分别需 $\mathcal{O}(\epsilon^{-8})$ 次随机梯度评估。当 SMDD 的目标函数对 $x$ 为非凸且对 $y$ 满足 Polyak-{\L}ojasiewicz (P{\L}) 不等式时，我们提出交替自适应随机梯度下降上升算法（AASGDA），并证明 AASGDA 在 $\mathcal{O}(\kappa_y^4\epsilon^{-4})$ 次随机梯度评估内即可找到 $\epsilon$ 平稳点，其中 $\kappa_y$ 表示条件数。我们通过在合成数据和真实数据上的数值实验验证了所提算法的有效性。