具有非空泛化界的非真空联邦学习
机器学习
2026-05-20 v2 机器学习
摘要
我们引入一种在联邦学习中训练随机化预测器的新颖策略,其中网络的每个节点旨在通过释放局部预测器而对其余节点保密其训练数据集以保全隐私。随后我们构建一个全局随机化预测器,在 PAC-Bayesian 泛化界的意义上继承局部私有预测器的性质。我们考虑同步情形(所有节点共享相同训练目标,该目标导出自泛化界),以及异质与同质情形(每个节点可有其个性化训练目标)。我们通过一系列数值实验表明,我们的方法取得了与所有数据集跨节点共享的批处理法相当的预测性能。此外,这些预测器由数值上非真空的泛化界所支持,同时保全各节点隐私。我们显式计算了两种联邦设定下预测性能与泛化界的增量,凸显了保全隐私所需付出的代价。
引用
@article{arxiv.2310.11203,
title = {Federated Learning with Nonvacuous Generalisation Bounds},
author = {Pierre Jobic and Maxime Haddouche and Benjamin Guedj},
journal= {arXiv preprint arXiv:2310.11203},
year = {2026}
}