面向非凸非光滑层次联邦学习的平滑 ADMM
机器学习
2025-03-13 v1
摘要
本文提出了一种层次联邦学习（FL）框架，该框架将交替方向乘子法（ADMM）与平滑技术相结合，专为非凸和非光滑目标函数定制。与传统层次 FL 方法不同，我们的方法支持异步更新和每次迭代多次更新，增强了对异构数据和系统设置的适应性。此外，我们引入了一种灵活的机制以在每一层利用多样的正则化函数，允许根据每个簇内的特定先验信息进行定制，并适应（可能）非光滑的惩罚目标。根据学习目标，该框架同时支持共识和个性化：可以使用全变差范数来强制各层间的共识，而诸如极小极大凹惩罚（MCP）或平滑剪切绝对偏差（SCAD）等非凸惩罚则实现了个性化学习。实验结果表明，与传统方法相比，我们的方法具有更优的收敛速率和准确度，突显了其在广泛 FL 场景中的鲁棒性和多功能性。
引用
@article{arxiv.2503.08869,
title = {Smoothing ADMM for Non-convex and Non-smooth Hierarchical Federated Learning},
author = {Reza Mirzaeifard and Stefan Werner},
journal= {arXiv preprint arXiv:2503.08869},
year = {2025}
}