联邦学习中结合局部强化微调的解耦训练
计算机视觉与模式识别
2026-05-28 v1
摘要
结合预训练视觉-语言模型（VLM）的联邦学习（FL）已成为各种下游任务的一种有前景的范式。通过利用其强大的表示能力，近期研究在局部数据不足的情况下改进了任务适应，同时保持了泛化能力。然而，这些方法强调完全的局部优化和简单的参数聚合，这可能在异构和全数据FL设置下放大客户端间的优化不一致性和客户端内的过专业化，使得平衡全局任务适应和泛化变得困难。为应对这些挑战，我们提出了FedDTL，一种新颖的联邦VLM框架，它将图像编码器和文本编码器在客户端和服务器之间解耦。通过解耦的编码器训练与服务器-客户端模态对齐，FedDTL促进了连贯的全局语义更新并减少了客户端间的优化不一致性，从而改善了全局任务适应。为进一步缓解客户端内的过专业化，我们引入了两阶段局部微调，其中监督微调阶段实现了快速可靠的预热启动，随后是增强泛化能力的强化学习阶段。在多个基准（包括标签倾斜和特征偏移）上的大量实验表明，在少样本和全数据机制下的各种FL数据分布中，FedDTL在全局任务适应和泛化之间实现了有效平衡。
引用
@article{arxiv.2605.27900,
title = {Decoupled Training with Local Reinforcement Fine-Tuning in Federated Learning},
author = {Yuting Ma and Lechao Cheng and Xiaohua Xu},
journal= {arXiv preprint arXiv:2605.27900},
year = {2026}
}
备注
This work has been accepted by ICML 2026