传统分类神经网络是优秀的生成器：可与 DDPM 和 GAN 相竞争
计算机视觉与模式识别
2022-12-12 v2 人工智能
机器学习
多媒体
机器学习
摘要
分类器与生成器长期以来彼此分离。我们打破这一分离，展示常规神经网络分类器能够生成大量类别的高质量图像，可与最先进的生成模型（如 DDPM 和 GAN）相媲美。我们通过计算分类损失函数对输入的偏导数来优化输入以生成图像。由于众所周知直接优化输入类似于无法生成人类可理解图像的有目标对抗攻击，我们提出一种基于掩码随机重建模块，使梯度具备语义感知以合成合理图像。我们进一步提出渐进分辨率技术以保证保真度，从而生成照片级真实图像。此外，我们引入距离度量损失和非平凡分布损失，以确保分类神经网络能合成多样且高保真的图像。利用传统神经网络分类器，我们可在 ImageNet 上生成 256256 分辨率的优质图像。有趣的是，我们的方法也适用于文生图，即将图文基础模型视为广义分类器。证明分类器已学习数据分布并可用于图像生成具有深远影响，因为分类器远比 DDPM 和 GAN 等生成模型易于训练。我们甚至无需训练分类模型，因为大量公开模型可供下载。同时，这对分类器的可解释性与鲁棒性也极具潜力。项目页面见 \url{https://classifier-as-generator.github.io/}。
引用
@article{arxiv.2211.14794,
title = {Traditional Classification Neural Networks are Good Generators: They are Competitive with DDPMs and GANs},
author = {Guangrun Wang and Philip H. S. Torr},
journal= {arXiv preprint arXiv:2211.14794},
year = {2022}
}
备注
This paper has 29 pages with 22 figures, including rich supplementary information. Project page is at \url{https://classifier-as-generator.github.io/}