TPFL：基于置信度聚类的 Tsetlin 个性化联邦学习
分布式、并行与集群计算
2024-11-26 v4 机器学习
摘要
机器学习（ML）领域在新模型和处理用户数据的方式上经历了快速变化。已完成的大部分工作集中在基于深度学习（DL）的方法上。然而，随着 Tsetlin 机（TM）算法等新算法的出现，人们越来越有兴趣探索在某些领域或应用中可能具有独特优势的替代方法。联邦学习（FL）就是这些领域之一，其中用户隐私至关重要。由于其新颖性，FL 中引入个性化技术的激增，以在个性化条件下保持用户隐私的同时提高模型准确率。在这项工作中，我们提出了一种名为 TPFL（Tsetlin 个性化联邦学习）的新方法，该方法根据模型对特定类别的置信度将模型分组到簇中。这样，聚类可以获得两个关键优势。首先，客户端仅共享它们有把握的内容，从而消除了在训练期间对特定类别数据可能不足的客户端之间进行错误权重聚合的现象。当数据是非独立同分布（non-IID）时，这种现象非常普遍。其次，通过仅共享针对特定类别的权重，通信成本大幅降低，使得 TPFL 在准确率和通信成本方面都非常高效。将 TPFL 的结果与其他 6 种基线方法进行了比较，即 FedAvg、FedProx、FLIS DC、FLIS HC、IFCA 和 FedTM。结果表明，TPFL 的性能优于基线方法，在 MNIST 上的准确率为 98.94%，在 FashionMNIST 上的准确率为 98.52%，在 FEMNIST 数据集上的准确率为 91.16%。
引用
@article{arxiv.2409.10392,
title = {TPFL: Tsetlin-Personalized Federated Learning with Confidence-Based Clustering},
author = {Rasoul Jafari Gohari and Laya Aliahmadipour and Ezat Valipour},
journal= {arXiv preprint arXiv:2409.10392},
year = {2024}
}