DCFL：非独立同分布感知的数据浓缩辅助联邦学习
机器学习
2023-12-25 v1 人工智能
密码学与安全
分布式、并行与集群计算
摘要
联邦学习是一种去中心化的学习范式，其中中央服务器利用拥有一定量私有数据集的客户端迭代训练全局模型。挑战在于客户端的私有数据可能并非独立同分布（Non-IID），这显著影响了全局模型的准确性。现有方法通常通过关注优化、客户端选择和数据互补来解决 Non-IID 挑战，但由于隐私限制，大多数方法往往忽略了私有数据本身的视角。直观上，客户端私有数据之间的统计差异有助于减轻 Non-IID 程度。此外，数据集浓缩技术的最新进展启发我们研究其在保持隐私的同时解决 Non-IID 问题的潜在适用性。受此启发，我们提出了 DCFL，该方法利用中心核对齐（CKA）方法将客户端分组，然后使用具有 Non-IID 意识的数据浓缩方法来补全客户端。同一组内客户端的私有数据是互补的，其浓缩数据可供组内所有客户端访问。此外，结合了 CKA 引导的客户端选择策略、过滤机制和数据增强技术，以高效精确地利用浓缩数据，提升模型性能并最小化通信时间。实验结果表明，DCFL 在包括 MNIST、FashionMNIST、SVHN 和 CIFAR-10 在内的流行联邦学习基准测试中，结合现有 FL 协议实现了具有竞争力的性能。
引用
@article{arxiv.2312.14219,
title = {DCFL: Non-IID awareness Data Condensation aided Federated Learning},
author = {Shaohan Sha and YaFeng Sun},
journal= {arXiv preprint arXiv:2312.14219},
year = {2023}
}
备注
10 pages,17 figures, haven't been published