极性采样：基于奇异值控制预训练生成网络生成质量与多样性的方法
计算机视觉与模式识别
2022-05-09 v2
摘要
我们提出极性采样（Polarity Sampling），一种有理论依据的即插即用方法，用于控制预训练深度生成网络（DGNs）的生成质量与多样性。利用 DGNs 是或可被连续分段仿射样条逼近这一事实，我们推导出 DGN 输出空间分布作为 DGN 雅可比矩阵奇异值乘积的 次幂的解析表达式。我们将 称为 （极性）参数，并证明 使 DGN 采样聚焦于 DGN 输出空间分布的模态（）或反模态（）。我们证明，对于若干最先进的 DGNs，非零极性值比截断等标准方法取得更优的精度-召回率（质量-多样性）帕累托前沿。我们还给出了在包括 StyleGAN3、BigGAN-deep、NVAE 在内的若干最先进 DGNs 上，针对不同条件与无条件图像生成任务，整体生成质量（例如按 Frechet Inception Distance 衡量）提升的定量与定性结果。特别地，极性采样将 StyleGAN2 在 FFHQ 数据集上的 SOTA 刷新至 FID 2.57，StyleGAN2 在 LSUN Car 数据集上至 FID 2.27，以及 StyleGAN3 在 AFHQv2 数据集上至 FID 3.95。演示：bit.ly/polarity-samp
引用
@article{arxiv.2203.01993,
title = {Polarity Sampling: Quality and Diversity Control of Pre-Trained Generative Networks via Singular Values},
author = {Ahmed Imtiaz Humayun and Randall Balestriero and Richard Baraniuk},
journal= {arXiv preprint arXiv:2203.01993},
year = {2022}
}
备注
20 pages, 16 figures, CVPR 2022 Oral, Camera Ready