TiAda：一种用于非凸极小极大优化的时间尺度自适应算法

自适应梯度方法已展现出以与参数无关的方式动态调整步长的能力，并在经验上实现了求解最小化问题的更快收敛。然而，对于非凸极小极大优化，当前对结合自适应步长的梯度下降上升（GDA）的收敛性分析需要仔细调整超参数并了解依赖于问题的参数。这种差异源于极小极大问题的原始-对偶性质，以及在实现收敛时原始和对偶更新之间精细时间尺度分离的必要性。在这项工作中，我们提出了一种称为 TiAda 的单循环自适应 GDA 算法，用于非凸极小极大优化，可自动适应时间尺度分离。我们的算法完全与参数无关，并且能在非凸-强凹极小极大问题的确定性和随机性设定下同时达到近最优复杂度。所提方法的有效性在若干机器学习应用上进一步得到了数值验证。