Lipizzaner：一个可扩展鲁棒生成对抗网络训练的系统
神经与进化计算
2018-12-03 v1 机器学习
摘要
GAN 由于模式崩溃与判别器崩溃等收敛病态而难以训练。我们介绍 Lipizzaner，一个开源软件系统，允许机器学习工程师以分布式且鲁棒的方式训练 GAN。Lipizzaner 分布了一种竞争式协同进化算法，该算法凭借双重、自适应、生成器与判别器种群，对崩溃具有鲁棒性。该算法非常适于高效分布，因其使用空间网格抽象。训练在每个单元局部进行，强的中间训练结果在重叠邻域间交换，使高性能解得以传播并随更多训练轮次改进。在常用图像数据集上的实验克服了关键崩溃。通信开销在增加计算实例数量时线性标度，且我们观察到规模增大会带来模型性能提升。
引用
@article{arxiv.1811.12843,
title = {Lipizzaner: A System That Scales Robust Generative Adversarial Network Training},
author = {Tom Schmiedlechner and Ignavier Ng Zhi Yong and Abdullah Al-Dujaili and Erik Hemberg and Una-May O'Reilly},
journal= {arXiv preprint arXiv:1811.12843},
year = {2018}
}
备注
Systems for ML Workshop (MLSYS) at NeurIPS 2018