大模型联邦化定制化：方法、实验与见解
机器学习
2026-01-15 v1 分布式、并行与集群计算
摘要
本文探讨了大模型的联邦化定制化问题，并突出了其在联邦学习框架内所面临的关键挑战。我们综述了几种流行的大模型定制技术，包括完全微调、有效微调、提示工程、前缀调优、知识蒸馏和检索增强生成。随后，我们讨论了这些技术如何在联邦学习框架内实现。此外，我们对联邦前缀调优进行了实验，据我们所知，这是首次将前缀调优应用于联邦学习设置的尝试。所进行的实验验证了其可行性，性能接近集中式方法。进一步与三种其他联邦定制方法进行比较，表明其具备竞争性能、满意的效率和持久的鲁棒性。
引用
@article{arxiv.2601.00526,
title = {Federated Customization of Large Models: Approaches, Experiments, and Insights},
author = {Yuchuan Ye and Ming Ding and Youjia Chen and Peng Cheng and Dusit Niyato},
journal= {arXiv preprint arXiv:2601.00526},
year = {2026}
}
备注
8 pages, 1 figure