分布偏移下的学习率调度

我们设计了在存在数据分布变化的情况下，基于 SGD 的在线学习的最小后悔学习率调度。我们通过随机微分方程的新型分析，完整刻画了在线线性回归的最优学习率调度。对于一般的凸损失函数，我们提出了对分布偏移具有鲁棒性的新学习率调度，并给出了仅相差常数因子的后悔上界与下界。对于非凸损失函数，我们基于估计模型的梯度范数定义了后悔概念，并提出了一种最小化总期望后悔上界的学习调度。直观上，人们预期变化的损失地形需要更多的探索，我们证实了在存在分布偏移时最优学习率调度通常会增大。最后，我们给出了高维回归模型和神经网络的实验，以说明这些学习率调度及其累积后悔。