更快的自适应去中心化学习算法

去中心化学习因其实现简单、系统鲁棒性和数据隐私等优势，近年来在机器学习中受到越来越多的关注。同时，自适应梯度方法在许多机器学习任务（如训练神经网络）中表现出优越性能。尽管一些工作专注于研究具有自适应学习率的去中心化优化算法，但这些自适应去中心化算法仍然面临高样本复杂度的问题。为了填补这些空白，我们提出了一类更快的自适应去中心化算法（即AdaMDOS和AdaMDOF），分别用于分布式非凸随机优化和非凸有限和优化。此外，我们为这些方法提供了坚实的收敛分析框架。特别地，我们证明AdaMDOS在寻找非凸随机优化的ε-平稳解时获得了近最优的样本复杂度Õ(ε⁻³)。同时，AdaMDOF在寻找非凸有限和优化的ε-平稳解时获得了近最优的样本复杂度O(√n ε⁻²)，其中n表示样本量。据我们所知，我们的AdaMDOF算法是首个用于非凸有限和优化的自适应去中心化算法。部分实验结果证明了我们算法的效率。