面向非凸极小极大问题的去中心化黎曼算法

黎曼流形上（可能含非凸约束）的极小极大优化已活跃应用于诸多问题，如鲁棒降维与具正交权重的深度神经网络（Stiefel流形）。尽管欧氏设定下已发展出许多极小极大优化算法，却难以转换至黎曼情形，且针对带非凸约束非凸极小极大问题的算法更为稀少。另一方面，为应对大数据挑战，去中心化（无服务器）训练技术近年兴起，因其可降低通信开销并避免服务器节点瓶颈。然而，去中心化黎曼极小极大问题的算法尚未被研究。本文研究Stiefel流形上分布式非凸-强凹极小极大优化问题，并提出确定性与随机性两类极小极大方法。Stiefel流形为非凸集。全局函数表示为局部函数的有限和。确定性设定下，我们提出DRGDA，并证明在温和条件下确定性方法取得$O(\epsilon^{-2})$梯度复杂度。随机设定下，我们提出DRSGDA，并证明随机方法取得$O(\epsilon^{-4})$梯度复杂度。DRGDA与DRSGDA是首批具精确收敛性、带非凸约束的分布式极小极大优化算法。在Stiefel流形上深度神经网络（DNNs）训练的大量实验结果证明了我们算法的效率。