GAN 中的双下降与其他插值现象
机器学习
2024-05-02 v2
摘要
我们研究可插值训练数据的生成对抗网络（GANs）中的过参数化。我们表明过参数化可改善泛化性能并加速训练过程。我们将泛化误差作为隐空间维数的函数加以研究，并依据学习设置识别出两种主要行为。首先，我们表明通过最小化度量或 f-散度来学习分布的过参数化生成模型在泛化误差上不呈现双下降；具体而言，所有插值解达到相同的泛化误差。其次，我们为 GANs 开发了一种新颖的伪监督学习方法，其训练利用合成的（噪声）输入对与真实输出样本相结合。我们的伪监督设置呈现出泛化误差的双下降（某些情况下为三下降）。我们将伪监督与过参数化（即过大的隐空间维数）结合，以加速训练，同时匹配甚至超越无伪监督时的泛化性能。尽管我们的分析主要聚焦于线性模型，我们也应用重要见解来改善非线性多层 GANs 的泛化。
引用
@article{arxiv.2106.04003,
title = {Double Descent and Other Interpolation Phenomena in GANs},
author = {Lorenzo Luzi and Yehuda Dar and Richard Baraniuk},
journal= {arXiv preprint arXiv:2106.04003},
year = {2024}
}