从学习到分析：通过目标导向的客户端选择提升模型效能
机器学习
2024-04-02 v1 信号处理
摘要
联邦学习是在分布式客户端之间学习全局模型同时保护数据隐私的一种极具吸引力的范式。受对高质量用户体验需求的驱动，在联邦学习过程之后评估训练良好的全局模型至关重要。在本文中，我们提出了一个闭环模型分析框架，允许使用客户端的本地数据对训练好的全局模型进行有效评估。为了应对联邦学习过程中系统和数据异构性带来的挑战，我们基于该模型分析框架研究了目标导向的客户端选择问题，通过选择一部分客户端进行模型训练。该问题被表述为随机多臂老虎机(SMAB)问题。我们首先提出了一种快速初始化上置信界算法，在联邦分析(FA)框架下解决该SMAB问题。然后，我们进一步在民主化分析(DA)框架下提出了一种基于置信传播的UCB(BP-UCB)算法。此外，我们推导了所提算法的两个遗憾上界，它们随时间范围呈对数增长。数值结果表明，所提算法实现了近乎最优的性能，在FA和DA框架下的差距分别小于1.44%和3.12%。
引用
@article{arxiv.2404.00371,
title = {From Learning to Analytics: Improving Model Efficacy with Goal-Directed Client Selection},
author = {Jingwen Tong and Zhenzhen Chen and Liqun Fu and Jun Zhang and Zhu Han},
journal= {arXiv preprint arXiv:2404.00371},
year = {2024}
}
备注
This work was partly presented at IEEE ICC 2022