基于不确定性的可扩展码本用于异构数据孤岛中的离散联邦学习
机器学习
2025-06-06 v4
摘要
联邦学习（FL）旨在利用庞大的分布式数据集，却面临一个关键挑战：不同孤岛间数据的异构性。虽然先前的研究探索了离散表示以增强模型在微小分布偏移下的泛化能力，但这些方法往往难以适应具有显著不同分布的新数据孤岛。对此，我们发现源自 FL 的模型在应用于具有陌生分布的数据孤岛时，表现出不确定性显著增加的特征。因此，我们提出了一种创新且简洁的迭代框架，称为\emph{基于不确定性的可扩展码本联邦学习（UEFL）}。该框架将潜在特征动态映射到可训练的离散向量，评估不确定性，并专门针对表现出高不确定性的孤岛扩展离散化字典或码本。我们的方法旨在通过明确解决数据分布的多样性问题，同时提高准确性并降低不确定性，同时在以异构数据孤岛为特征的环境中保持最小的计算开销。在多个数据集上的大量实验表明，UEFL 优于最先进的方法，在准确性（提升 3\%--22.1\%）和不确定性降低（减少 38.83\%--96.24\%）方面取得了显著改进。源代码见 https://github.com/destiny301/uefl。
引用
@article{arxiv.2402.18888,
title = {Uncertainty-Based Extensible Codebook for Discrete Federated Learning in Heterogeneous Data Silos},
author = {Tianyi Zhang and Yu Cao and Dianbo Liu},
journal= {arXiv preprint arXiv:2402.18888},
year = {2025}
}