面向非独立同分布联邦学习的特征匹配数据合成
机器学习
2023-08-10 v1 人工智能
分布式、并行与集群计算
摘要
联邦学习（FL）已成为一种隐私保护范式，在边缘设备上训练神经网络而无需在中央服务器收集数据。然而，FL在处理设备间非独立同分布（non-IID）数据时面临固有挑战。为应对该挑战，本文提出一种硬特征匹配数据合成（HFMDS）方法，在本地模型之外共享辅助数据。具体而言，合成数据通过学习的真实样本的本质类别相关特征并丢弃冗余特征来生成，有助于有效解决non-IID问题。为更好地保护隐私，我们提出硬特征增强方法，将真实特征向决策边界迁移，使合成数据不仅提升模型泛化能力，还擦除真实特征的信息。通过将所提HFMDS方法与FL结合，我们提出一种带数据增强的新型FL框架以缓解数据异构性。理论分析凸显了所提数据合成方法在解决non-IID挑战上的有效性。仿真结果进一步表明，在多个基准数据集上，我们所提HFMDS-FL算法在准确率、隐私保护和计算成本方面均优于基线。
引用
@article{arxiv.2308.04761,
title = {Feature Matching Data Synthesis for Non-IID Federated Learning},
author = {Zijian Li and Yuchang Sun and Jiawei Shao and Yuyi Mao and Jessie Hui Wang and Jun Zhang},
journal= {arXiv preprint arXiv:2308.04761},
year = {2023}
}
备注
16 pages