联邦适配器：面向基础模型的外分布方法
机器学习
2025-05-05 v1
摘要
随着基础模型的流行，联邦基础模型（FedFM）作为一种在联邦学习框架中使用分布式数据集 across clients 的隐私保护微调模型方法而日益突出。鉴于基础模型的通用性，FedFM的一个关键挑战是解决外分布（OOD）概览，其中未见任务或客户端可能 exhibit distribution shifts 导致性能次优。尽管已有许多研究探索了在传统联邦学习中处理 OOD 概览，但这些方法对于 FedFM 来说不够充分，因为大参数规模和增加的数据异构性带来了挑战。为此，我们提出FedOA，采用基于适配器的参数高效微调方法，并引入基于特征距离的正则化以实现个性化适配器，从而对齐分布以保证每个客户端的 OOD 概览。理论上，我们证明了传统聚合全局模型在 FedFM 中本质上保留了 OOD 概览能力，而我们提出的方法通过受全局模型信息驱动的正则化增强了个性化模型的 OOD 概览，已在一般非凸设置下证明收敛。实验上，我们在各种 NLP 任务的基准数据集上验证了所提方法的有效性。
引用
@article{arxiv.2505.01075,
title = {Federated Adapter on Foundation Models: An Out-Of-Distribution Approach},
author = {Yiyuan Yang and Guodong Long and Tianyi Zhou and Qinghua Lu and Shanshan Ye and Jing Jiang},
journal= {arXiv preprint arXiv:2505.01075},
year = {2025}
}