联邦化最大化-最小化：超越参数聚合
机器学习
2025-07-24 v1 人工智能
最优化与控制
机器学习
摘要
本文提出了一种统一的方法来设计能够鲁棒地扩展到联邦学习设置的随机优化算法。我们的工作研究了一类最大化-最小化问题，该类问题具有一个线性参数化的主导替代函数族。这个框架涵盖了用于（正则化）光滑目标的（近端）梯度算法、期望最大化算法，以及许多被视为变分替代最大化-最小化的问题。我们表明，我们的框架催生了一个统一的算法，称为随机近似随机替代最大化-最小化，该算法将先前的随机最大化-最小化过程作为特例包含在内。然后，我们将随机近似随机替代最大化-最小化扩展到联邦设置，同时考虑了常见瓶颈，如数据异质性、部分参与和通信约束；这产生了量化随机近似随机替代最大化-最小化。量化随机近似随机替代最大化-最小化的创新之处在于，它本地学习然后聚合表征*替代主导函数*的信息，这与经典算法学习和聚合*原始参数*的做法相反。最后，为了展示这种方法论在我们理论设置之外的灵活性，我们用它来设计一个在联邦设置中计算最优传输映射的算法。
引用
@article{arxiv.2507.17534,
title = {Federated Majorize-Minimization: Beyond Parameter Aggregation},
author = {Aymeric Dieuleveut and Gersende Fort and Mahmoud Hegazy and Hoi-To Wai},
journal= {arXiv preprint arXiv:2507.17534},
year = {2025}
}