Small-GAN：利用核心集加速GAN训练
机器学习
2019-10-31 v1 机器学习
摘要
Brock等人(2018)近期的工作表明，生成对抗网络(GANs)从大mini-batch尺寸中获益不成比例地多。遗憾的是，在常规硬件上使用大批次缓慢且昂贵。因此，若能生成实际小但有效大的批次将会很好。在本工作中，我们受主动学习中核心集(Coreset)选择的启发，提出一种实现此方法的技术。训练GAN时，我们从先验中抽取大批次样本，然后使用核心集选择压缩该批次。为创建有效大的“真实”图像批次，我们建立每个训练图像的Inception激活的缓存数据集，将其随机投影到较小维度，然后在训练时对这些投影激活使用核心集选择。我们进行的实验表明，该技术大幅减少了现代GAN变体的训练时间与内存使用，降低了合成数据集中丢弃模式的比例，并使得GAN在异常检测中达到新的state of the art。
引用
@article{arxiv.1910.13540,
title = {Small-GAN: Speeding Up GAN Training Using Core-sets},
author = {Samarth Sinha and Han Zhang and Anirudh Goyal and Yoshua Bengio and Hugo Larochelle and Augustus Odena},
journal= {arXiv preprint arXiv:1910.13540},
year = {2019}
}