理想化随机 Polyak 方法分析及其在黑盒模型蒸馏中的应用

我们提供了一种理想化随机 Polyak 步长 SPS$^*$ 的一般收敛定理。除了凸性外，我们仅假设局部期望梯度界，后者包括局部光滑和局部 Lipschitz 损失函数为特例。我们将 SPS$^*$ 称为理想化，因为它需要访问每个训练批次在解处的损失值。它也是理想的，因为它达到了全局 Lipschitz 函数的 optimal lower bound，并且是首个在光滑情景下具有 $O(1/\sqrt{t})$ anytime 收敛性质的 Polyak 步长。我们展示了如何将 SPS$^*$ 与动量结合，以实现最后一个迭代的相同有利收敛率。我们以几个实验验证我们的理论，并展示了一个更实际的情景，说明如何在没有任何超参数调优的情况下，将教师 GPT-2 模型蒸馏到较小的学生模型。