敏捷在线模型选择：通过受保护的大学习率解决适应滞后

在非平稳环境中维持预测准确性需要进行在线模型选择以自主适应未知分布迁移。然而，现有的无调参算法面临鲁棒性与敏捷性之间的根本权衡。具体而言，为确保动态 regret 上界，它们必须将学习率限制在小常数（例如 $O(1)$）。这一限制不可避免地导致在突发变更期间出现显著的适应滞后。为解决这一问题，我们提出了一种新的乐观在线镜像梯度算法，利用受保护的大学习率，最高可达 $\Theta(T)$，其中 $T$ 为轮数。我们的关键技术贡献是一种事后惩罚机制，动态监控不稳定更新并排除导致滞后过大的学习率，无需限制性的先验约束。我们表明，累积惩罚保持在 $O(\log T)$，使我们的算法在最坏情况下的近最优保证与卓越的良好情况下的收敛率相当。实验在合成数据和十一组多样化真实数据集上表明，我们的方法将适应滞后从数百轮缩短至数轮，始终优于无调参基准。