即插即用生成网络：潜空间中图像的条件迭代生成

生成高分辨率、照片般逼真的图像一直是机器学习领域的长期目标。最近，Nguyen 等人（2016）展示了一种有趣的新图像合成方法，通过在生成器网络的潜空间中执行梯度上升，以最大化一个独立分类器网络中一个或多个神经元的激活。在本文中，我们通过引入一个额外的潜码先验来扩展此方法，同时提高了样本质量和样本多样性，从而产生了一个最先进的生成模型，该模型能够以比以往生成模型更高的分辨率（227x227）生成高质量图像，并且适用于所有 1000 个 ImageNet 类别。此外，我们为相关的激活最大化方法提供了统一的概率解释，并将这一通用模型类别称为“即插即用生成网络”。PPGN 由 1) 一个能够绘制广泛图像类型的生成器网络 G 和 2) 一个可替换的“条件”网络 C 组成，后者告诉生成器要绘制什么。我们展示了以类别为条件的图像生成（当 C 是 ImageNet 或 MIT Places 分类网络时）以及以标题为条件的图像生成（当 C 是图像标题生成网络时）。我们的方法还改进了多面特征可视化的现有技术水平，该方法生成激活一个神经元的合成输入集合，以便更好地理解深度神经网络如何运作。最后，我们展示了我们的模型在图像修复任务上表现相当不错。虽然本文使用的是图像模型，但该方法是模态无关的，可以应用于多种数据类型。