从非独立同分布数据中分散式学习生成对抗网络
机器学习
2019-11-25 v2 机器学习
摘要
本工作解决一个新问题：从多个数据集合中学习生成对抗网络（GANs），这些集合各自 i) 由不同客户端分别拥有，且 ii) 抽取自包含不同类别的非相同分布。给定此类非iid数据作为输入，我们旨在学习涉及输入数据可能所属所有类别的分布，同时将数据分散保留在各客户端存储中。为此我们的关键贡献是一种称为宽恕优先更新（F2U）的从非iid数据学习GANs的新分散式方法，其 a) 要求客户端用自身数据训练个体判别器，且 b) 更新生成器以欺骗那些认为生成样本最真实的“最宽恕”判别器。我们的理论分析证明，该更新策略允许分散式GAN基于f-散度最小化实现以所有输入类别为生成器分布的全局最优。此外，我们提出F2U的松弛版本称为宽恕优先聚合（F2A），其在实践中表现良好，自适应聚合判别器同时强调宽恕者。我们的图像生成任务经验评估证明了我们的方法优于最先进的分散式学习方法。
引用
@article{arxiv.1905.09684,
title = {Decentralized Learning of Generative Adversarial Networks from Non-iid Data},
author = {Ryo Yonetani and Tomohiro Takahashi and Atsushi Hashimoto and Yoshitaka Ushiku},
journal= {arXiv preprint arXiv:1905.09684},
year = {2019}
}