基于数据共享约束的异构多域环境分布式生成式AI方法
机器学习
2026-01-19 v3 人工智能
摘要
联邦学习因其能够在不共享原始数据的情况下使多个节点协同训练机器学习模型而受到关注。与此同时，生成式AI——特别是生成对抗网络（GAN）——在医疗保健、安保和图像生成等多个领域取得了显著成果。然而，训练生成模型通常需要大规模数据集和巨大的计算资源，而这些资源在实际应用中往往不可得。获取此类资源在成本和效率方面往往是昂贵且不有效的，尤其是当许多闲置的、能力各异的设备（如物联网设备和边缘设备）未得到充分利用时。此外，由于隐私 concerns 和版权限制，获取大规模数据集颇具挑战性，因为大多数设备不愿意共享其数据。为此，我们提出了一种 novel 方法，用于去中心化的GAN训练，使其能够在不共享原始数据的前提下利用分布式数据和闲置的、低性能设备。我们的 methods 旨在解决去中心化环境中的关键挑战，将 KLD 加权聚类联邦学习用于应对数据异构性和多域数据集问题，结合异构 U 形分割学习以应对严格数据共享约束下的设备异构性问题——确保在节点之间永远不会共享标签或原始数据（无论是真实数据还是合成数据）。实验表明，我们的方法在关键指标上显示出显著的改进，其中在多域非独立同分布设置下实现了分类指标提升最高可达 60%，在 MNIST 系列数据集上实现了 1.1 倍至 3 倍的图像生成得分，以及在更高分辨率数据集上实现了 2 倍至 70 倍的 FID 分数的降低。我们在 https://distributed-gen-ai.github.io/huscf-gan.github.io/ 寻求我们的 code。
引用
@article{arxiv.2507.12979,
title = {A Distributed Generative AI Approach for Heterogeneous Multi-Domain Environments under Data Sharing constraints},
author = {Youssef Tawfilis and Hossam Amer and Minar El-Aasser and Tallal Elshabrawy},
journal= {arXiv preprint arXiv:2507.12979},
year = {2026}
}
备注
Accepted and published in Transactions on Machine Learning Research (TMLR), 2026