基于梯度与进化学习系统中的信号传播
神经与进化计算
2021-02-18 v1 分布式、并行与集群计算
机器学习
摘要
生成对抗网络（GANs）表现出可导致收敛相关退化行为的训练病态，而用于 GAN 训练的空间分布协同进化算法（CEAs），例如 Lipizzaner，在经验上对此具有鲁棒性。该鲁棒性源于在环形网格每个单元中训练生成器与判别器种群所产生的多样性。通信，即一个单元中最佳 GAN 的参数形式信号向四个方向——北、南、西、东——传播，也发挥作用，通过传播既新且适应的适配性。我们提出 Lipi-Ring，一种类似于 Lipizzaner 的分布式 CEA，不同之处在于其使用不同的空间拓扑，即环。我们的核心问题是，信号传播的不同方向性（有效地迁移至单元一侧或两侧的一个或多个邻居）是否达到或超过 Lipizzaner 的性能质量与训练效率。在不同数据集（即 MNIST、CelebA 与 COVID-19 胸部 X 光图像）上的实验分析表明，两种方法的训练生成模型性能无显著差异。然而，Lipi-Ring 显著减少了计算时间（14.2% 至 41.2%）。因此，当训练的计算成本重要时，Lipi-Ring 提供了 Lipizzaner 的一种替代方案。
引用
@article{arxiv.2102.08929,
title = {Signal Propagation in a Gradient-Based and Evolutionary Learning System},
author = {Jamal Toutouh and Una-May O'Reilly},
journal= {arXiv preprint arXiv:2102.08929},
year = {2021}
}