一种用于训练生成对抗网络的分散式并行算法
最优化与控制
2020-10-21 v6 机器学习
摘要
生成对抗网络（GANs）是深度学习领域中一类强大的生成模型。当前大规模 GAN 训练的实践采用大型模型和分布式大批量训练策略，并在以集中式方式设计的深度学习框架（如 TensorFlow、PyTorch 等）上实现。在集中式网络拓扑中，每个工作节点需要在每次迭代中要么直接与中心节点通信，要么间接与其他所有工作节点通信。然而，当网络带宽较低或网络延迟较高时，性能会显著下降。尽管近期在训练深度神经网络的分散式算法方面取得了进展，但是否能以分散式方式训练 GANs 仍不清楚。主要困难在于同时处理非凸 - 非凹的极小极大优化和分散式通信。在本文中，我们通过设计**首个基于梯度的分散式并行算法**来解决这一困难，该算法允许工作节点在一次迭代中进行多轮通信，并同时更新判别器和生成器，且该设计使得所提出的分散式算法的收敛性分析成为可能。理论上，我们提出的分散式算法能够解决一类非凸非凹极小极大问题，并具有收敛到一阶驻点的可证明的非渐近收敛性。在 GANs 上的实验结果证明了该算法的有效性。
引用
@article{arxiv.1910.12999,
title = {A Decentralized Parallel Algorithm for Training Generative Adversarial Nets},
author = {Mingrui Liu and Wei Zhang and Youssef Mroueh and Xiaodong Cui and Jerret Ross and Tianbao Yang and Payel Das},
journal= {arXiv preprint arXiv:1910.12999},
year = {2020}
}
备注
Accepted by NeurIPS 2020