基于动量方差缩减的局部随机双层优化
机器学习
2022-05-04 v1 最优化与控制
摘要
双层优化近来取得了显著进展，涌现出高效的新算法，并已应用于数据清洗、少样本学习和神经架构搜索等许多机器学习任务。然而，在分布式环境下求解双层问题却鲜受关注。联邦学习（FL）是一种在分布式数据上求解机器学习任务的新兴范式。由于异构性与通信瓶颈，FL 问题难以求解。然而，这些挑战将如何影响双层优化算法的收敛尚不清楚。在本文中，我们研究联邦双层优化问题。具体而言，我们首先提出 FedBiO，一种基于确定梯度的算法，并证明其达到 -平稳点需要 次迭代。随后，我们在随机场景下提出 FedBiOAcc，利用基于动量的方差缩减技术对 FedBiO 进行加速。我们证明 FedBiOAcc 的复杂度为 。最后，我们通过重要的公平联邦学习任务验证我们所提算法。更具体地，我们定义了一个基于双层的分组公平 FL 目标。数值实验中，我们的算法相较其他基线展现出更优性能。
引用
@article{arxiv.2205.01608,
title = {Local Stochastic Bilevel Optimization with Momentum-Based Variance Reduction},
author = {Junyi Li and Feihu Huang and Heng Huang},
journal= {arXiv preprint arXiv:2205.01608},
year = {2022}
}