MD-GAN：面向分布式数据集的多判别器生成对抗网络
机器学习
2021-04-14 v2 机器学习
摘要
机器学习领域近期的一项技术突破是生成对抗网络（GANs）的发现及其多种应用。这些生成模型计算需求高，因为 GAN 由两个不同的深度神经网络组成，且需在大型数据集上训练。GAN 通常训练于单一服务器上。本文研究 GAN 的分布式训练问题，使其能够在分布于多个工作节点上的数据集上进行训练。MD-GAN 作为该问题的首个解决方案被提出：我们提出了一种适用于该分布式设置的 GAN 新型学习流程。随后，我们使用 MNIST 和 CIFAR10 数据集，将 MD-GAN 的性能与一种适配于 GAN 的联邦学习（Federated Learning）版本进行比较。MD-GAN 在每个工作节点上将学习复杂度降低了二分之一，同时在两个数据集上均优于联邦学习。最后，我们讨论了分布式 GAN 的实际意义。
引用
@article{arxiv.1811.03850,
title = {MD-GAN: Multi-Discriminator Generative Adversarial Networks for Distributed Datasets},
author = {Corentin Hardy and Erwan Le Merrer and Bruno Sericola},
journal= {arXiv preprint arXiv:1811.03850},
year = {2021}
}
备注
To be published in IPDPS 2019: the 33rd IEEE International Parallel & Distributed Processing Symposium