面向非合作性联邦学习服务的 Pareto Actor-Critic 通信与计算协优化
机器学习
2025-08-29 v2 人工智能
摘要
在多服务提供商 (SP) 生态系统中，联邦学习 (FL) 受限于非合作性动态——隐私约束和竞争利益使无法集中优化多 SP 的通信与计算资源。本文引入 PAC-MCoFL，一种基于博弈论的多智能体强化学习 (MARL) 框架，其中 SP 作为智能体联合优化客户端分配、自适应量化和资源分配。在框架内，我们将 Pareto Actor-Critic (PAC) 原则与期望分位回归相结合，使智能体能够推断实现帕累托最优均衡的最优联合策略，同时建模异构风险轮廓。为管理高维动作空间，我们设计了三进制笛卡尔分解 (TCAD) 机制以实现细粒度控制。进一步，我们开发 PAC-MCoFL-p，一种具有参数化预测生成器的可扩展变体，显著降低计算复杂度并具有可证明的有界误差。虽然理论上具有收敛保证，但我们的框架通过大量仿真验证了优越性——PAC-MCoFL 在总奖励和超体积指标 (HVI) 上分别实现约 5.8% 和 4.2% 的提升。结果还表明，该方法在规模化部署和数据异构性多样的情况下，能够更有效地平衡 individual SP 与系统性能。
引用
@article{arxiv.2508.16037,
title = {Pareto Actor-Critic for Communication and Computation Co-Optimization in Non-Cooperative Federated Learning Services},
author = {Renxuan Tan and Rongpeng Li and Xiaoxue Yu and Xianfu Chen and Xing Xu and Zhifeng Zhao},
journal= {arXiv preprint arXiv:2508.16037},
year = {2025}
}