一种训练生成对抗网络的分布式新方法
机器学习
2021-07-20 v1 分布式、并行与集群计算
信息论
网络与互联网体系结构
math.IT
摘要
生成对抗网络（GANs）是一种新兴的机器学习模型，通过联合训练生成器和判别器来生成与真实数据相似的合成数据。在许多应用中，数据和计算资源分布在多个设备上，由于隐私和/或通信限制，将所有数据集中在一处进行集中式计算是不可行的。本文提出了一种以分布式方式训练 GANs 的新框架：每个设备使用本地数据计算本地判别器；单个服务器聚合其结果并计算全局 GAN。具体而言，在每次迭代中，服务器将全局 GAN 发送给设备，设备随后更新其本地判别器；设备将结果发送给服务器，服务器随后计算其平均值作为全局判别器，并相应地更新全局生成器。设计了两种不同的更新调度方案，设备和服务器之间具有不同级别的并行性。使用三个流行数据集获得的数值结果表明，所提框架在收敛速度方面优于最先进的框架。
引用
@article{arxiv.2107.08681,
title = {A New Distributed Method for Training Generative Adversarial Networks},
author = {Jinke Ren and Chonghe Liu and Guanding Yu and Dongning Guo},
journal= {arXiv preprint arXiv:2107.08681},
year = {2021}
}
备注
Submitted to IEEE for possible publication