通过远端联邦元学习进行预训练与个性化微调：收敛-泛化权衡
机器学习
2025-12-02 v6 信息论
信号处理
math.IT
摘要
对于现代人工智能(AI)应用，如大型语言模型(LLMs)，训练范式最近转向预训练后微调。 Furthermore，由于开放数据存储库的缩减以及 democratize AI 模型访问的努力，预训练预计将 increasingly 从当前的集中部署迁移到联邦学习(FL)实现。 元学习提供了一个将预训练和微调形式化的通用框架。基于元学习的个性化联邦学习(meta-pFL)超越了基本个性化，目标是对新代理和任务实现泛化。 本文研究了在无线环境下 meta-pFL 的泛化性能，其中参与预训练阶段(即元学习)的代理通过共享无线信道连接到服务器。 采用远端计算，我们研究了在泛化到新代理和任务方面与收敛方面的权衡。 该权衡源于信道损耗可能增强泛化，同时损害收敛。 大量数值结果验证了理论。
引用
@article{arxiv.2406.11569,
title = {Pre-Training and Personalized Fine-Tuning via Over-the-Air Federated Meta-Learning: Convergence-Generalization Trade-Offs},
author = {Haifeng Wen and Hong Xing and Osvaldo Simeone},
journal= {arXiv preprint arXiv:2406.11569},
year = {2025}
}
备注
40 pages, 10 figures, to appear in IEEE Trans. Cogn. Commun. Netw