面向基础模型设备端微调的灵活个性化分割联邦学习
分布式、并行与集群计算
2025-08-15 v1 机器学习
摘要
与使用预训练模型相比，微调基础模型对于在个性化下游任务上实现卓越性能至关重要。协作学习可以利用本地客户端的数据集进行微调，但有限的客户端数据和异构的数据分布阻碍了有效协作。为应对这一挑战，我们提出了一种灵活的个性化联邦学习范式，使客户端能够在保持个性化目标的同时参与协作学习。考虑到客户端上可用计算资源有限且异构，我们引入了 \textbf{灵活个性化分割联邦学习（FlexP-SFL）}。基于分割学习，FlexP-SFL 允许每个客户端根据资源约束，在本地训练模型的一部分，同时将其余部分卸载到服务器。此外，我们提出了一种对齐策略，以提高个性化模型在全局数据上的性能。实验结果表明，FlexP-SFL 在个性化微调效率和最终准确率方面均优于基线模型。
引用
@article{arxiv.2508.10349,
title = {Flexible Personalized Split Federated Learning for On-Device Fine-Tuning of Foundation Models},
author = {Tianjun Yuan and Jiaxiang Geng and Pengchao Han and Xianhao Chen and Bing Luo},
journal= {arXiv preprint arXiv:2508.10349},
year = {2025}
}
备注
10 pages, Submitted to INFOCOM2026