基于固定门控的 FedSQ：优化权重平均
机器学习
2026-04-06 v1 人工智能
分布式、并行与集群计算
摘要
联邦学习 (FL) 通过在不共享原始数据的情况下实现跨组织协同训练，但受统计异构性（非独立同分布客户端数据）和对 naive 权重平均在客户端漂移下的不稳定性的阻碍。在许多跨-silo 部署中，FL 是从强大的预训练主干（例如 ImageNet-1K）进行 warm-start，然后适应本地领域。以最近证据表明 ReLU 类门控范式（结构知识）早于剩余参数值（定量知识）稳定为动机，我们提出了 FedSQ（Federated Structural-Quantitative learning），这是一种基于深度网络的 DualCopy、分段线性视图的迁移初始化神经联邦程序。FedSQ 冻结预训练模型的结构副本，以在联邦微调期间诱导固定二进制门控掩码，同时仅优化用于局部优化和跨轮聚合的定量副本。固定门控将学习限制在同一 regime 内的仿射细化，从而在异构分区下稳定聚合。在两个卷积神经网络主干上进行的实验表明，FedSQ 在鲁棒性方面具有优势，并可相对于标准基线减少到达最佳验证性能所需的轮数，同时在迁移设置中保持准确性。
引用
@article{arxiv.2604.02990,
title = {FedSQ: Optimized Weight Averaging via Fixed Gating},
author = {Cristian Pérez-Corral and Jose I. Mestre and Alberto Fernández-Hernández and Manuel F. Dolz and José Duato and Enrique S. Quintana-Ortí},
journal= {arXiv preprint arXiv:2604.02990},
year = {2026}
}