通过锥锥约束实现联邦多目标学习中的受控帕累托前沿
机器学习
2025-08-26 v3
摘要
联邦学习是隐私保护模型训练中广泛采用的数据驱动范式，但FedAvg优化主流客户端，忽略了少数客户端。现有方法如联邦多目标学习(FedAvg)试图将多目标优化引入联邦学习，但仅提供任务级帕累托稳态点，无法确保客户端公平性。本文引入锥正则化联邦多目标学习(CR-FMOL)，这是首个通过新颖的偏好锥约束强制实现客户端帕累托最优性的联邦多目标学习框架。在局部联邦多梯度平均(FMGDA)或联邦随机多梯度平均(FSMGDA)步骤之后，每个客户端将其聚合任务损失向量作为隐式偏好发送给服务器；服务器随后以均匀向量为中心求解锥约束帕累托多任务学习子问题，生成一个在其锥内对所有客户端均为帕累托稳态的下降方向。实验在非独立同分布基准数据集上表明，CR-FMOL提升了客户端公平性，尽管早期阶段性能略逊于FedAvg，但在充分训练轮数后可实现相当的准确率。
引用
@article{arxiv.2508.05424,
title = {Federated Multi-Objective Learning with Controlled Pareto Frontiers},
author = {Jiansheng Rao and Jiayi Li and Zhizhi Gong and Soummya Kar and Haoxuan Li},
journal= {arXiv preprint arXiv:2508.05424},
year = {2025}
}
备注
This paper was inadvertently submitted without the proper consent of all the authors, which invalidates the content of the paper as posted in its current form