无额外成本的额外客户端：通过滤波分解克服联邦学习中的数据异构性
机器学习
2025-03-12 v1
摘要
数据异构性是联邦学习 (FL) 中的主要挑战之一，导致客户方方差较大且收敛速度慢。在本研究中，我们提出了一种新方法：将 FL 中的卷积滤波器分解为滤波子空间元素的线性组合，即滤波原子。这种简单技术将 FL 中的全局滤波聚合转换为对滤波原子及其原子系数进行聚合。其关键优势在于，通过展开滤波原子与原子系数加权求和的乘积，数学上生成大量的交叉项。这些交叉项有效地模拟了许多额外的潜在客户端，从而显著降低模型方差，这一点通过我们的理论分析和实证观察得到了验证。此外，我们的方法允许对滤波原子和原子系数采用不同的训练方案，以实现高度自适应的模型个性化和通信效率。基准数据集上的实证结果表明，我们的滤波分解技术在 FL 方法的准确率上显著提高，证明了其在解决数据异构性方面的有效性。
引用
@article{arxiv.2503.08652,
title = {Extra Clients at No Extra Cost: Overcome Data Heterogeneity in Federated Learning with Filter Decomposition},
author = {Wei Chen and Qiang Qiu},
journal= {arXiv preprint arXiv:2503.08652},
year = {2025}
}