MS³D：基于 RG 流的 GAN 有限数据训练正则化方法
机器学习
2024-08-22 v1 人工智能
摘要
生成对抗网络（GAN）在图像生成方面取得了令人瞩目的进展，但它们通常需要大规模训练数据来避免判别器过拟合导致的退化。为了解决这一问题，我们研究了有限数据条件下训练 GAN 的挑战，并提出了一种基于物理学中重整化群（RG）思想的新正则化方法。我们观察到，在有限数据设置下，生成器从判别器获得的梯度模式随时间变得更加聚集。在 RG 语境中，这种聚集模式与其粗粒化版本表现出高度差异，这意味着一个高容量且敏感的系统，容易过拟合和崩溃。为了解决这个问题，我们引入了一种多尺度结构自差异（MS³D）正则化，它约束梯度场在不同尺度上具有一致的模式，从而培育出一个更具冗余性和鲁棒性的系统。我们证明，我们的方法可以有效增强有限数据场景下 GAN 的性能和稳定性，甚至允许它们用极少的数据生成高质量图像。
引用
@article{arxiv.2408.11135,
title = {MS$^3$D: A RG Flow-Based Regularization for GAN Training with Limited Data},
author = {Jian Wang and Xin Lan and Yuxin Tian and Jiancheng Lv},
journal= {arXiv preprint arXiv:2408.11135},
year = {2024}
}