中文

面向 GAN 的在线自适应课程学习

机器学习 2019-03-13 v6 机器学习

摘要

生成对抗网络(GANs)能够成功逼近概率分布并生成逼真样本。然而,诸如充分收敛条件和模式崩溃等开放问题仍然存在。在本文中,我们基于该领域已有工作,提出一种新颖框架,用于训练生成器对抗一组判别器网络集合,可视为一学生/多教师设定。我们在全信息对抗 bandit 框架内形式化该问题,评估算法在学习过程中为生成器提供反馈而选择判别器混合的能力。为此,我们提出一个反映生成器进展并动态更新分配给每个判别器的混合权重的奖励函数。我们还将我们的算法与随机优化方法联系起来,并表明文献中使用多个判别器的现有方法均可从我们的框架中恢复。我们认为,表达能力较弱的判别器更平滑且对模式映射具有总体粗粒度视角,这迫使生成器覆盖数据分布支撑的较广部分。另一方面,高表达能力判别器确保样本质量。最后,实验结果表明,我们的方法通过有效学习课程,在样本质量和多样性上优于现有基线。这些结果也支持较弱判别器具有更高熵从而改善模式覆盖的主张。关键词:多判别器,课程学习,多分辨率判别器,多臂 bandit,生成对抗网络,平滑判别器,多判别器 GAN 训练,多专家。

关键词

引用

@article{arxiv.1808.00020,
  title  = {On-line Adaptative Curriculum Learning for GANs},
  author = {Thang Doan and Joao Monteiro and Isabela Albuquerque and Bogdan Mazoure and Audrey Durand and Joelle Pineau and R Devon Hjelm},
  journal= {arXiv preprint arXiv:1808.00020},
  year   = {2019}
}

备注

Accepted to the Thirty-Third AAAI Conference On Artificial Intelligence, 2019 (Added 128x128 CelebA samples to the end of the appendix)