Wasserstein 条件生成对抗神经网络的稳定并行训练
人工智能
2022-08-26 v1 计算机视觉与模式识别
分布式、并行与集群计算
机器学习
多智能体系统
摘要
我们提出了一种在固定计算预算约束下稳定、并行地训练 Wasserstein 条件生成对抗神经网络（W-CGANs）的方法。与以往的分布式 GAN 训练技术不同，我们的方法避免了进程间通信，通过使用多个生成器（每个生成器在单一数据标签上并发训练）来降低模式崩溃风险并增强可扩展性。Wasserstein 度量的使用还通过稳定每个生成器的训练来减少循环风险。我们在 CIFAR10、CIFAR100 和 ImageNet1k 这三个标准基准图像数据集上展示了该方法，并保持每个数据集的原始图像分辨率。性能在有限固定计算时间和计算资源下从可扩展性和最终精度两方面进行评估。为衡量精度，我们使用 inception score、Frechet inception distance 和图像质量。与之前在深度卷积条件生成对抗神经网络（DC-CGANs）上采用并行方法所得结果相比，本文方法在 inception score 和 Frechet inception distance 上均有提升，且由 GANs 方法生成的新图像质量也有所改善。在 OLCF 超级计算机 Summit 上使用多达 2000 块 NVIDIA V100 GPU，在两个数据集上均实现了弱扩展。
引用
@article{arxiv.2207.12315,
title = {Stable Parallel Training of Wasserstein Conditional Generative Adversarial Neural Networks},
author = {Massimiliano Lupo Pasini and Junqi Yin},
journal= {arXiv preprint arXiv:2207.12315},
year = {2022}
}
备注
22 pages; 9 figures