使用双时间尺度更新规则训练生成对抗网络的关键批大小的存在性与估计
机器学习
2023-06-06 v6 最优化与控制
摘要
先前的结果表明，使用不同学习率（例如不同的常数速率或不同的衰减速率）的双时间尺度更新规则（TTUR）在理论与实践中对训练生成对抗网络（GANs）是有用的。此外，不仅是学习率，批大小对于使用 TTUR 训练 GAN 也很重要，并且它们都影响训练所需的步数。本文基于常数学习率研究了批大小与使用 TTUR 训练 GAN 所需步数之间的关系。我们从理论上证明，对于具有常数学习率的 TTUR，找到判别器与生成器两者损失函数平稳点所需的步数随批大小增加而减少，并且存在一个最小化随机一阶预言（SFO）复杂度的关键批大小。然后，我们使用 Fréchet 初始距离（FID）作为训练的性能度量，并提供数值结果，表明达到低 FID 分数所需的步数随批大小增加而减少，且一旦批大小超过所测得的关键批大小，SFO 复杂度便会增加。此外，我们表明测得的关键批大小接近于由我们的理论结果估计的大小。
引用
@article{arxiv.2201.11989,
title = {Existence and Estimation of Critical Batch Size for Training Generative Adversarial Networks with Two Time-Scale Update Rule},
author = {Naoki Sato and Hideaki Iiduka},
journal= {arXiv preprint arXiv:2201.11989},
year = {2023}
}
备注
Accepted at the 40th International Conference on Machine Learning (ICML 2023)