Prodigy：一种快速自适应的无参数学习器

我们考虑在自适应方法(如 AdaGrad 和 Adam)中估计学习率的问题。我们提出 Prodigy，一种可证明地估计到解的距离 $D$ 的算法，该距离是为最优设置学习率所必需的。其核心是对用于无学习率学习的 D-Adaptation 方法的改进。它将 D-Adaptation 的收敛速率提升了 $O(\sqrt{\log(D/d_0)})$ 倍，其中 $d_0$ 为 $D$ 的初始估计。我们在 12 个常用逻辑回归基准数据集、CIFAR10 上训练 VGG11 和 ResNet-50、Imagenet 上训练 ViT、IWSLT14 上训练 LSTM、Criteo 数据集上训练 DLRM、Knee MRI 数据集上训练 VarNet，以及 BookWiki 上训练 RoBERTa 和 GPT transformer 上测试了 Prodigy。实验结果表明，我们的方法一致优于 D-Adaptation，并达到接近手工调参 Adam 的测试精度值。