CHAIN：通过 Lipschitz 连续性约束归一化增强数据高效 GAN 的泛化能力
机器学习
2025-03-18 v6 计算机视觉与模式识别
摘要
生成对抗网络 (GAN) 显著推进了图像生成，但其性能严重依赖大量训练数据。在数据有限的场景中，GAN 经常面临判别器过拟合和训练不稳定的问题。Batch Normalization (BN) 尽管以增强泛化能力和训练稳定性而闻名，但很少用于数据高效 GAN 的判别器中。我们的工作通过识别 BN 中的一个关键缺陷来填补这一空白：在中心化和缩放步骤中梯度爆炸的倾向。为了解决这个问题，我们提出了 CHAIN (lipsCHitz continuity constrAIned Normalization)，它用零均值正则化代替传统的中心化步骤，并在缩放步骤中引入 Lipschitz 连续性约束。CHAIN 通过自适应插值归一化和非归一化特征，进一步增强了 GAN 训练，有效避免了判别器过拟合。我们的理论分析牢固确立了 CHAIN 在减少潜在特征和权重梯度方面的有效性，提升了 GAN 训练的稳定性和泛化能力。实验证据支持了我们的理论。CHAIN 在 CIFAR-10/100、ImageNet、五个低样本和七个高分辨率少样本图像数据集上的数据受限场景中取得了 SOTA 结果。代码：https://github.com/MaxwellYaoNi/CHAIN
引用
@article{arxiv.2404.00521,
title = {CHAIN: Enhancing Generalization in Data-Efficient GANs via lipsCHitz continuity constrAIned Normalization},
author = {Yao Ni and Piotr Koniusz},
journal= {arXiv preprint arXiv:2404.00521},
year = {2025}
}
备注
Accepted by CVPR 2024. 26 pages. Code: https://github.com/MaxwellYaoNi/CHAIN