非凸非凹极小和极大问题的随机平滑框架及其在 Wasserstein 分布鲁棒优化中的应用

诸如对抗鲁棒性训练和 Wasserstein 分布鲁棒优化（WDRO）等应用可以自然地表述为极小和极大优化问题。虽然这种表述可以重写为等价的极小极大问题，但极大项的求和引入了计算挑战，包括增加的复杂性和内存需求，这些问题必须得到解决。这些挑战在 WDRO 中尤为明显，现有的可处理算法通常依赖于对目标函数的严格假设，限制了它们在诸如深度神经网络训练等最先进机器学习问题中的适用性。本研究引入了一种基于 \mbox{log-sum-exp} 函数的新型随机平滑框架，能够高效地近似极小和极大问题中的极大算子。通过利用极大算子的 Clarke 正则性，我们开发了一种迭代平滑算法来解决这些计算困难，并保证了几乎必然收敛到 Clarke/方向平稳点。我们进一步证明，所提出的算法能找到原始问题的 $\epsilon$-缩放 Clarke 平稳点，其最坏情况迭代复杂度为 $\widetilde{O}(\epsilon^{-3})$。我们的数值实验表明，在求解报童问题、深度学习回归和对抗鲁棒深度学习时，我们的方法优于或可与最先进的方法相媲美。结果突显了我们的方法在这些具有挑战性的问题环境中产生了更准确和鲁棒的解。