TAP：联邦学习中多任务与多模态基础模型的两阶段自适应个性化
机器学习
2026-05-11 v3 人工智能
摘要
在联邦学习（FL）中，模型的局部个性化受到了广泛关注，但基础模型的个性化微调仍有待探索。特别是，文献中对于在客户端间不仅存在数据异构性，还存在任务和模态异构性的设置下如何个性化基础模型，尚缺乏理解。为弥补这一空白，我们提出了两阶段自适应个性化（TAP）。在第一阶段，TAP 利用客户端与服务器之间不匹配的模型架构，选择性地用全局更新替换个性化参数，显式地限制跨任务和跨模态干扰。在第二阶段，TAP 对全局模型进行联邦学习后蒸馏，以恢复有益的共享结构。通过仅在全局模型稳定后才重新引入可泛化知识，TAP 在不损害个性化的前提下增强了泛化能力。在开发我们的方法时，我们引入了在客户端间存在模态-任务对异构性下服务器端联邦基础模型训练的首次收敛分析，并展示了模态-任务对数量对模型微调的影响。通过广泛的实验，我们证明了 TAP 在多种数据集和任务上相比最先进的基线方法的有效性。实现代码已在 https://github.com/lee3296/TAP 公开。
引用
@article{arxiv.2509.26524,
title = {TAP: Two-Stage Adaptive Personalization of Multi-Task and Multi-Modal Foundation Models in Federated Learning},
author = {Seohyun Lee and Wenzhi Fang and Dong-Jun Han and Seyyedali Hosseinalipour and Christopher G. Brinton},
journal= {arXiv preprint arXiv:2509.26524},
year = {2026}
}
备注
29 pages