快速自适应联邦双层优化

双层优化是机器学习中一种流行的层次化模型，已广泛应用于元学习、超参数学习和策略优化等许多机器学习任务。尽管近来已提出许多双层优化算法，但专注于分布式设定下双层优化的自适应算法很少。众所周知，自适应梯度方法在分布式与非分布式优化上均表现出优越性能。因此，本文提出一种新颖的自适应联邦双层优化算法（即 AdaFBiO）来求解分布式双层优化问题，其中上层（UL）问题的目标函数可能非凸，而下层（LL）问题强凸。具体而言，我们的 AdaFBiO 算法基于动量方差缩减技术与 local-SGD 构建，同时获得已知最优的样本复杂度和通信复杂度。特别地，我们的 AdaFBiO 算法使用统一自适应矩阵灵活融合多种自适应学习率来更新 UL 与 LL 问题中的变量。此外，我们为 AdaFBiO 算法提供了收敛分析框架，并证明其获得一个 $\epsilon$-平稳点所需的样本复杂度为 $\tilde{O}(\epsilon^{-3})$、通信复杂度为 $\tilde{O}(\epsilon^{-2})$。在联邦超表征学习与联邦数据超清洗任务上的实验结果验证了算法的有效性。