通过伪密度控制深度生成模型的保真度与多样性
机器学习
2024-10-07 v2 计算机视觉与模式识别
摘要
我们提出一种方法，用于偏向深度生成模型（如 GAN 和扩散模型），使其生成的数据在提升保真度或增加多样性方面具有优势。该方法通过一种新颖的度量——伪密度（pseudo density）来操控训练和生成数据的分布，该度量基于真实样本的最近邻信息。我们的方法提供了三种不同的技术来调整深度生成模型的保真度和多样性：1）针对单个样本的扰动，使其向更常见或更独特的特征精确调整；2）在模型推理期间进行重要性抽样，以增强生成数据的保真度或多样性；3）使用重要性抽样进行微调，指导生成模型学习调整后的分布，从而控制保真度和多样性。此外，我们的微调方法能够以最小迭代次数提高预训练生成模型的 FID（Fréchet Inception Distance）。
引用
@article{arxiv.2407.08659,
title = {Controlling the Fidelity and Diversity of Deep Generative Models via Pseudo Density},
author = {Shuangqi Li and Chen Liu and Tong Zhang and Hieu Le and Sabine Süsstrunk and Mathieu Salzmann},
journal= {arXiv preprint arXiv:2407.08659},
year = {2024}
}