联邦基础模型的双层个性化：一种任务向量聚合方法
机器学习
2025-09-17 v1
摘要
联邦基础模型代表了一种跨客户端联合微调预训练基础模型的新范式。为少数新用户或特定场景微调基础模型仍然是一个挑战，这些场景通常涉及的数据量与预训练所用的大规模数据相比十分有限。在此背景下，个性化与联邦之间的权衡变得更加敏感。为了解决这些问题，我们为基础模型上的联邦微调提出了一个双层个性化框架。具体来说，我们在客户端层面使用其私有数据进行个性化微调，然后在服务器层面使用由客户端特定任务向量衡量的相似用户进行个性化聚合。鉴于从客户端微调中获得的个性化信息，服务器层面的个性化聚合能够获得群体层面的个性化信息，同时减轻具有非独立同分布数据的无关或兴趣冲突客户端的干扰。在基准数据集上的广泛实验分析证明了所提算法的有效性。
引用
@article{arxiv.2509.12697,
title = {Bi-level Personalization for Federated Foundation Models: A Task-vector Aggregation Approach},
author = {Yiyuan Yang and Guodong Long and Qinghua Lu and Liming Zhu and Jing Jiang},
journal= {arXiv preprint arXiv:2509.12697},
year = {2025}
}