基于一阶开关方法的优化：倾斜对称动力学与乐观离散化

大规模约束优化问题是控制、信号处理和机器学习中众多任务的核心。值得注意的是，具有函数约束的问题在除了以性能为导向的目标（如最小化经验损失）外，还希望满足鲁棒性、公平性等其他要求。一种简单方法——切换梯度法（SGM），在一阶 oracle 下可为非光滑、凸、强凸和弱凸函数实现最优收敛率：在每个迭代中根据预确定的约束违规容忍度，分别使用目标函数梯度或约束梯度作为更新向量。尽管SGM在非光滑函数情形下的性能已充分理解，实际上与无约束情形下的梯度下降（GD）一致，但关于其在损失和约束函数光滑情况下的收敛性质的正式结论仍寥寥。本文旨在填补这一空白。首先，我们指出SGM在光滑情形下可能无法从更快的收敛率中受益，与GD在光滑情形下的改进收敛率形成鲜明对比。通过连续时间极限视角，我们揭示了这一问题根植于SGM动力学本身，而非分析方法的偶然结果。我们的连续时间极限视角还为缓解SGM的局限性提供了思路。特别是，我们表明，借助变分不等式和 min-max 优化中已广泛探索的“乐观”思想，可能导致更快的方法。该视角进一步使我们能够设计一类“软”开关方法，并在适度假设下进一步分析其迭代复杂度。