FedPFT：基于联邦学习的代理微调基础模型

通过联邦学习（Federated Learning, FL）为下游任务适配基础模型（Foundation Models, FMs）是一种保护数据隐私和有价值 FMs 的有前景策略。现有方法通过在 FL 中为客户端分配子 Fm 来进行微调，但导致性能次优，由于子 Fm 的不足调谐和梯度不可避免的误差累积。在本文中，我们提出了联邦代理微调（FedPFT），一种通过 FL 提升 Fms 在下游任务中的适应性的新方法，包含两个关键模块。首先，子 Fm 构建模块采用层级压缩方法，促进通过强调关键神经元来对所有层进行全面 Fm 微调。其次，子 Fm 对齐模块在 FL 微调前后分别进行两步蒸馏——层级级和神经元级——以通过在理论保证下准确对齐子 Fm 与 Fm 来减少梯度误差。在七个常用数据集（即四个文本和三个视觉）上的实验结果表明，FedPFT 的优越性。