当基础模型遇见联邦学习：动机、挑战与未来方向
机器学习
2025-05-06 v3 人工智能
分布式、并行与集群计算
摘要
基础模型（FM）与联邦学习（FL）的交叉为现实世界应用解锁了新的可能性。一方面，FL作为一种协作学习范式，可通过扩展数据可用性、实现计算共享、促进FM的协作开发、应对持续数据更新、避免FM垄断、响应延迟和FM服务中断，来帮助解决FM开发中的挑战。另一方面，FM凭借预训练知识与卓越性能，可作为FL的稳健起点；它还能生成合成数据以丰富数据多样性并提升FL的整体性能。同时，FM为FL解锁了新的共享范式以及多任务与多模态能力。通过审视FL与FM之间的相互作用，本文提出了以FM赋能FL和以FL赋能FM的动机、挑战与未来方向。我们希望本工作能为启发未来研究努力、推动两个领域的进步提供良好基础。
引用
@article{arxiv.2306.15546,
title = {When Foundation Model Meets Federated Learning: Motivations, Challenges, and Future Directions},
author = {Weiming Zhuang and Chen Chen and Jingtao Li and Chaochao Chen and Yaochu Jin and Lingjuan Lyu},
journal= {arXiv preprint arXiv:2306.15546},
year = {2025}
}