PRISM：面向联邦生成模型的隐私保护改进随机掩码
机器学习
2025-03-25 v3 密码学与安全
计算机视觉与模式识别
摘要
尽管联邦学习（FL）近期取得了进展，但由于高通信成本和异构数据环境中训练不稳定等挑战，生成模型与 FL 的整合仍然有限。为了解决这些问题，我们提出了 PRISM，这是一个为生成模型量身定制的 FL 框架，可确保（i）在异构数据分布下的稳定性能，以及（ii）在通信成本和最终模型大小方面的资源效率。我们方法的关键是为随机网络搜索最优的随机二值掩码，而不是更新模型权重，从而识别出具有高生成性能的稀疏子网络；即“强力彩票”。通过以随机方式通信二值掩码，PRISM 最小化了通信开销。这种方法结合了最大均值差异（MMD）损失和服务器端的掩码感知动态移动平均聚合方法（MADA），通过缓解 FL 场景中的局部发散，促进了稳定且强大的生成能力。此外，得益于其稀疏化特性，PRISM 无需额外的剪枝或量化即可产生轻量级模型，使其成为边缘设备等环境的理想选择。在 MNIST、FMNIST、CelebA 和 CIFAR10 上的实验表明，PRISM 优于现有方法，同时以最小的通信成本保持隐私。PRISM 是首个在复杂的非独立同分布和隐私保护的 FL 环境下，于复杂数据集上成功生成图像的方法，而以往的方法在这些场景下一直难以奏效。
引用
@article{arxiv.2503.08085,
title = {PRISM: Privacy-Preserving Improved Stochastic Masking for Federated Generative Models},
author = {Kyeongkook Seo and Dong-Jun Han and Jaejun Yoo},
journal= {arXiv preprint arXiv:2503.08085},
year = {2025}
}