回顾更多：利用历史序列更新进行个性化联邦适配器微调
机器学习
2025-01-06 v1 分布式、并行与集群计算
摘要
个性化联邦学习 (PFL) 研究有效的模型个性化，以解决传统联邦学习 (FL) 中客户端之间的数据异构性问题。现有的 PFL 方法主要通过仅依赖客户端最新更新的模型来生成个性化模型，而忽略了其先前的更新，这可能导致个性化模型学习次优。为了弥补这一差距，我们提出了一个名为 pFedSeq 的新框架，旨在个性化适配器以在 FL 中微调基础模型。在 pFedSeq 中，服务器维护并训练一个序列学习器，该学习器处理来自客户端的过去适配器更新序列，并为个性化适配器生成校准。为了有效捕获隐藏在先前更新中的跨客户端和跨步骤关系，并生成高性能的个性化适配器，pFedSeq 采用了强大的选择性状态空间模型 (SSM) 作为序列学习器的架构。通过在四个公共基准数据集上的大量实验，我们证明了 pFedSeq 优于最先进的 PFL 方法。
引用
@article{arxiv.2501.01653,
title = {Look Back for More: Harnessing Historical Sequential Updates for Personalized Federated Adapter Tuning},
author = {Danni Peng and Yuan Wang and Huazhu Fu and Jinpeng Jiang and Yong Liu and Rick Siow Mong Goh and Qingsong Wei},
journal= {arXiv preprint arXiv:2501.01653},
year = {2025}
}
备注
Accepted by AAAI 2025