面向数据高效 GAN 训练的风格量化
计算机视觉与模式识别
2025-04-01 v1
摘要
在有限数据设置下，GAN 通常难以导航并有效利用输入潜在空间。因此，在稀疏的输入潜在空间中，由相邻变量生成的图像可能在真实性上表现出显著差异，导致一致性正则化（CR）效果欠佳。为解决此问题，我们提出了 SQ-GAN，这是一种通过引入风格空间量化方案来增强 CR 的新方法。该方法将稀疏、连续的输入潜在空间转化为紧凑、结构化的离散代理空间，使每个元素对应一个特定的真实数据点，从而改善 CR 性能。我们不直接进行量化，而是首先将输入潜在变量映射到一个纠缠程度较低的“风格”空间，并使用可学习的码本进行量化。这使得每个量化码能够控制不同的变化因子。此外，我们优化了最优传输距离，以利用基础模型从训练数据中提取的特征来对齐码本码，将外部知识嵌入码本，并建立一个能恰当描述训练数据集的语义丰富的词汇表。大量实验表明，我们的方法在判别器鲁棒性和生成质量上均有显著提升。
引用
@article{arxiv.2503.24282,
title = {Style Quantization for Data-Efficient GAN Training},
author = {Jian Wang and Xin Lan and Jizhe Zhou and Yuxin Tian and Jiancheng Lv},
journal= {arXiv preprint arXiv:2503.24282},
year = {2025}
}