基于组合 Thompson 抽样的联邦稳健剪枝
机器学习
2025-10-17 v3 人工智能
摘要
联邦学习 (FL) 使跨分布式客户端进行协作模型训练而无需数据共享，但其高计算和通信需求会施加资源受限设备的压力。现有方法使用动态剪枝来提高效率，通过定期调整稀疏模型拓扑结构以保持稀疏性，但这些方法存在贪心调整、拓扑不稳定和通信效率低下等问题，导致模型不够稳健，在数据异构性和部分客户端可用性的情况下性能次优。为解决这些挑战，我们提出一种基于组合 Thompson 抽样的联邦稳健剪枝框架 (FedRTS)，一个新型开发稳健稀疏模型的框架。FedRTS 通过其基于 Thompson 抽样的调整 (TSAdj) 机制，通过稳定、远见的信息进行概率决策，而非依赖前一种方法中不稳定和近视信息的确定性决策，从而提高稳健性和性能。大量实验表明，FedRTS 在计算机视觉和自然语言处理任务上实现了最先进的性能，同时减少了通信成本，尤其在数据分布异构和部分客户端参与的场景中表现突出。我们的代码已公开：https://github.com/Little0o0/FedRTS
引用
@article{arxiv.2501.19122,
title = {FedRTS: Federated Robust Pruning via Combinatorial Thompson Sampling},
author = {Hong Huang and Hai Yang and Yuan Chen and Jiaxun Ye and Dapeng Wu},
journal= {arXiv preprint arXiv:2501.19122},
year = {2025}
}
备注
Accepted by NeurIPS 2025