FedNest：联邦双层、极小极大与复合优化
机器学习
2022-09-15 v3 最优化与控制
摘要
标准联邦优化方法已成功应用于具有单级结构的随机问题。然而，许多当代机器学习问题——包括对抗鲁棒性、超参数调优和 actor-critic——属于嵌套双层规划，其涵盖极小极大与复合优化。在本工作中，我们提出 \fedblo：一种用于解决一般嵌套问题的联邦交替随机梯度方法。我们建立了 \fedblo 在异质数据存在下的可证明收敛速率，并引入了针对双层、极小极大与复合优化的变体。\fedblo 引入了多项创新，包括联邦超梯度计算和方差缩减，以应对内层异质性。我们以超参数与超表示学习以及极小极大优化的实验补充了我们的理论，证明了我们的方法在实践中的益处。代码见 https://github.com/ucr-optml/FedNest。
引用
@article{arxiv.2205.02215,
title = {FedNest: Federated Bilevel, Minimax, and Compositional Optimization},
author = {Davoud Ataee Tarzanagh and Mingchen Li and Christos Thrampoulidis and Samet Oymak},
journal= {arXiv preprint arXiv:2205.02215},
year = {2022}
}
备注
ICML 2022 (accepted as a long presentation), 34 pages, 6 figures