基础模型与联邦学习：综述、分类、挑战与实践见解
机器学习
2025-09-08 v1
摘要
联邦学习有望通过使训练能够在不共享私有数据的情况下进行来解锁封闭的数据并整合分布式资源。随着更复杂的基础模型获得广泛应用，扩大训练资源并整合私有数据的所有权的需求也随之增长。本文探讨了联邦学习与基础模型的交叉领域，旨在识别、分类和特征化将两者整合的技术方法。由于目前缺乏统一的综述，我们呈现了一个结构化围绕新颖分类法的文献综述，包括可用方法的技术比较。此外，我们提供了实践见解和指南，专注于医疗保健领域作为案例研究，考虑到联邦学习和基础模型的潜在影响显著。我们的综述涵盖了多个交叉主题，包括但不限于联邦学习、自监督学习、微调、蒸馏和迁移学习。最初，我们检索并审阅了超过 4,200 篇文章。该集合被缩小为通过包含标准的超过 250 篇文章，涉及 42 种独特方法。这些方法用于构建分类法，并基于复杂度、效率和可扩展性进行比较。我们将这些结果呈现为自包含的概览，不仅总结了该领域的现状，也提供了采纳、演进和整合基础模型与联邦学习的实践方面的见解。
引用
@article{arxiv.2509.05142,
title = {Foundational Models and Federated Learning: Survey, Taxonomy, Challenges and Practical Insights},
author = {Cosmin-Andrei Hatfaludi and Alex Serban},
journal= {arXiv preprint arXiv:2509.05142},
year = {2025}
}