面向非IID数据的联邦学习的一种简单高效框架：OvA-LP
机器学习
2025-11-10 v1 人工智能
摘要
联邦微调（FFT）将基础模型适配到去中心化数据，但在客户端分布异构的情况下仍不稳健，由于局部漂移，即客户端级更新偏差导致全局模型产生系统性偏置和放大方差。现有的聚合和个人化方法大多事后纠正漂移，在极端非IID条件下效果脆弱。我们引入OvA-LP，一种极简框架，据称是首个在基于PEFT的FFT范式中旨在源头抑制漂移的方案。OvA-LP结合冻结编码器上的线性探针和一个一对所有头，采用简单的两阶段程序，保留预训练特征几何，并解耦逻辑，以防止放大漂移的机制。在CIFAR-100数据集上进行100个客户端的实验中，OvA-LP在shard-1、shard-2和Bernoulli-Dirichlet分区下平均保留了95.9%的IID准确率，而领先的FFT基线仅保留10.1%（PFPT）和34.5%（FFT-MoE）。OvA-LP还在对称和非对称标签噪声下保持鲁棒性。此外，预计算编码器特征使每轮计算成本几乎与编码器规模无关。综上所述，这些结果表明OvA-LP为面向异构性的稳健FFT提供了原则且高效的基础。
引用
@article{arxiv.2511.05028,
title = {OvA-LP: A Simple and Efficient Framework for Federated Learning on Non-IID Data},
author = {Dongjin Park and Hasung Yeo and Joon-Woo Lee},
journal= {arXiv preprint arXiv:2511.05028},
year = {2025}
}