通过随机坐标下降框架理解渐进式训练
机器学习
2023-06-07 v1 最优化与控制
摘要
我们提出了一种随机渐进式训练算法（RPT）——即著名渐进式训练方法（PT）（Karras et al., 2017）的随机代理。PT 最初设计用于训练 GAN（Goodfellow et al., 2014），是作为一种启发式方法提出的，即便对最简单的目标函数也没有收敛性分析。相反，据我们所知，RPT 是首个对一般光滑目标函数具有严格且可靠理论保证的 PT 型算法。我们将我们的方法纳入既有的随机坐标下降（RCD）（Nesterov, 2012; Richtárik & Takáč, 2014）框架中，并且作为我们研究的副产品，我们还提出了一种新颖、简单且通用的收敛性分析，涵盖强凸、凸和非凸目标。随后我们利用该框架为 RPT 建立收敛理论。最后，我们通过广泛的计算实验验证了方法的有效性。
引用
@article{arxiv.2306.03626,
title = {Understanding Progressive Training Through the Framework of Randomized Coordinate Descent},
author = {Rafał Szlendak and Elnur Gasanov and Peter Richtárik},
journal= {arXiv preprint arXiv:2306.03626},
year = {2023}
}