基于群体证明的集成学习用于联邦学习应用
机器学习
2023-01-03 v2 人工智能
信号处理
摘要
集成学习结合多个机器学习模型的结果，以提供偏差与方差更小、预测更优的改进预测模型。然而在联邦学习中，出于隐私考虑无法直接应用集中式集成学习，因此需要一种机制来合并本地模型结果以生成全局模型。大多数分布式共识算法（如拜占庭容错（BFT））在此类应用中通常表现不佳，因为这类方法忽视部分节点的预测，使多数节点可在不考虑其他节点决策的情况下胜出。此外，各节点结果的置信度分数通常未被考虑，尽管它是集成学习的重要特征。而且，诸如BFT等方法常未解决平局事件问题。为填补这些研究空白，我们提出PoSw（群体证明），一种受粒子群优化算法启发的、用于联邦环境下集成学习的新型分布式共识算法。该算法在理论上被证明总能在较少步数内收敛，并具备在寻求次优解时解决平局事件的机制。我们以医疗中的心电图（ECG）分类为例实验验证了所提算法性能，表明集成学习模型优于所有本地模型甚至基于联邦学习（FL）的全局模型。据我们所知，该算法是首个对使用联邦学习训练的分布式模型输出结果进行共识的尝试。
引用
@article{arxiv.2212.14050,
title = {Proof of Swarm Based Ensemble Learning for Federated Learning Applications},
author = {Ali Raza and Kim Phuc Tran and Ludovic Koehl and Shujun Li},
journal= {arXiv preprint arXiv:2212.14050},
year = {2023}
}
备注
This is the full edition of a 4-page poster paper published at the Proceedings of the 38th ACM/SIGAPP Symposium on Applied Computing (SAC '23) which can be accessed via the following DOI link: https://doi.org/10.1145/3555776.3578601