SPIRE：面向联邦扩散生成模型的条件个人化
机器学习
2025-06-17 v1 机器学习
摘要
最新的扩散模型进展 revolutionized 了生成式 AI，但其庞大规模使得在设备上进行个人化训练，从而实现有效的联邦学习 (FL) 不可行。我们提出 Shared Backbone Personal Identity Representation Embeddings (SPIRE) 框架，将每个客户基于联邦学习的生成建模为条件生成。SPIRE 将网络分解为 (i) 高容量全局主干网络学习人群水平的得分函数，以及 (ii) 轻量级、可学习的客户嵌入向量编码本地数据统计信息。这种分离使参数高效微调成为可能，仅影响 的权重。我们提供了条件扩散训练与高斯混合模型中最大似然估计之间的首个理论桥梁。对于二元混合模型，我们证明了关于混合权重损失的梯度下降可恢复最优混合权重，并享有维度无关的误差界。我们的分析还暗示了客户嵌入如何作为偏置，引导共享得分网络趋向个人化分布。实验上，SPIRE 在协同预训练期间匹配或超越了强大的基线，当适应未知客户时，显著优于基线，同时仅更新数百个参数即可降低 Kernel Inception Distance。SPIRE 进一步缓解了灾难性遗忘现象，在微调学习率和 epoch 选择方面保持鲁棒性。
引用
@article{arxiv.2506.12303,
title = {SPIRE: Conditional Personalization for Federated Diffusion Generative Models},
author = {Kaan Ozkara and Ruida Zhou and Suhas Diggavi},
journal= {arXiv preprint arXiv:2506.12303},
year = {2025}
}