接近现实：实用半监督性联邦学习用于基础模型适配
机器学习
2025-08-25 v1 计算机视觉与模式识别
摘要
基础模型（Foundation Models, FMs）在一般化方面表现突出，但需要适配到下游任务，特别是在隐私敏感的应用场景中。由于数据隐私法规，云端基础模型无法直接访问私有边缘数据，这限制了其适配能力。联邦学习（Federated Learning, FL）提供了一种隐私友好的替代方案，但现有的联邦学习方法忽略了边缘设备所面临的约束——即有限的计算资源和标注数据的稀缺。为应对这些挑战，我们引入了实用半监督性联邦学习（Practical Semi-Supervised Federated Learning, PSSFL），其中边缘设备仅持有无标签的低分辨率数据，而服务器持有有限数量的标注高分辨率数据。在此设置下，我们提出了联邦混合专家模型（Federated Mixture of Experts, FedMox），以增强联邦学习场景下的基础模型适配。FedMox通过稀疏的混合专家架构，解决了计算和分辨率不匹配的问题，采用空间路由器对不同分辨率上的特征进行对齐，并采用软混合策略来稳定半监督学习。我们以目标检测为案例研究，实验在真实世界的自动驾驶数据集上表明，FedMox 在 PSSFL 下有效地适配了基础模型，在边缘设备受限内存成本下显著提升了性能。我们的工作为在联邦场景下可扩展且隐私保护的基础模型适配铺平了道路。
引用
@article{arxiv.2508.16568,
title = {Closer to Reality: Practical Semi-Supervised Federated Learning for Foundation Model Adaptation},
author = {Guangyu Sun and Jingtao Li and Weiming Zhuang and Chen Chen and Chen Chen and Lingjuan Lyu},
journal= {arXiv preprint arXiv:2508.16568},
year = {2025}
}