Freya PAGE：面向大规模非凸有限和优化问题的首个最优时间复杂度方法，支持异构异步计算

在实际分布式系统中，工作进程通常具有异构性，由于硬件配置和网络条件的差异，处理时间可能高度变化。我们考虑此场景下的光滑非凸有限和问题（即经验风险最小化），并引入一种新型并行方法——Freya PAGE，旨在处理任意异构和异步计算。该方法对“缓慢计算节点”具有鲁棒性，通过自适应忽略缓慢计算，Freya PAGE 的时间复杂度优于所有先前方法，包括 Asynchronous SGD、Rennala SGD、SPIDER 和 PAGE，同时要求的假设更弱。该算法依赖于具有理论保证的新型随机梯度收集策略，这些策略本身也可能为未来的优化方法设计提供 inspiration。此外，我们为光滑非凸有限和问题建立了下界，提供了该异步设置下的基本时间复杂度限制。该下界紧凑，表明在大规模 regime（即 $\sqrt{m} \geq n$，其中 $n$ 为工作进程数，$m$ 为数据样本数）下，Freya PAGE 是最优的。