面向随机 MPEC 与不可微非凸分层优化的零阶联邦方法
最优化与控制
2025-07-04 v4
摘要
受联邦学习（FL）兴起的推动，我们设计并分析了用于解决以下问题的联邦方法：（i）不可微非凸优化；（ii）双层优化；（iii）极小极大问题；以及（iv）带均衡约束的两阶段随机数学规划（2s-SMPEC）。关于这些问题的研究十分有限，且受制于强假设的依赖，包括隐函数可微性需求以及下层问题无约束等。我们做出如下贡献。在（i）中，通过利用基于卷积的光滑化与克拉克次微分演算，我们设计了一种随机光滑化使能的零阶 FL 方法，并推导出计算近似克拉克平稳点的通信与迭代复杂度保证。为应对（ii）和（iii），我们设计了一个统一的随机隐式零阶 FL 框架，配有明确的通信与迭代复杂度。重要的是，我们的方法在本地步中利用延迟来跳过对不精确下层 FL 预言机的调用，从而显著减少通信开销。在（iv）中，我们设计了（i）中方法的不精确隐式变体。值得注意的是，该方法实现的总通信复杂度与 FL 中单级非光滑非凸优化相匹配。我们在联邦非光滑与分层问题的实例上对所提理论发现进行了实证验证。
引用
@article{arxiv.2309.13024,
title = {Zeroth-Order Federated Methods for Stochastic MPECs and Nondifferentiable Nonconvex Hierarchical Optimization},
author = {Yuyang Qiu and Uday V. Shanbhag and Farzad Yousefian},
journal= {arXiv preprint arXiv:2309.13024},
year = {2025}
}
备注
A preliminary version of this article has been accepted at The 37th Annual Conference on Neural Information Processing Systems (NeurIPS 2023)