分布式对抗优化的自适应步长方法实现近最优收敛

本文证明，直接应用于分布式对抗问题的自适应方法可能导致非收敛，由于本地计算的自适应步长不一致。为解决这一挑战，我们提出了D-AdaST，即Distributed Adaptive minimax method with Stepsize Tracking。关键策略是采用涉及两个额外(标量)变量的自适应步长跟踪协议。该协议确保节点步长的一致性，消除因节点之间步长协调不足而产生的稳态误差，从而保证了精确收敛。对于非凸-强凸分布式对抗问题，我们刻画了确保步长时间尺度分离和网络准独立性的具体瞬态时间，从而实现$\tilde{\mathcal{O}} \left( \epsilon ^{-\left( 4+\delta \right)} \right)$的近最优收敛率，其中$\delta > 0$为任意小常数，匹配集中式对等方案。到我们最佳知识，D-AdaST是首个在非凸对抗问题中实现近最优收敛且无需知道任何问题相关参数的分布式自适应方法。进行了大量实验以验证理论结果。