改进的不可调谐问题与基于梯度变化的 Lipschitz 自适应通用在线学习

在线学习的一个核心目标是实现对未知问题特征的自适应，例如由梯度变化（GV）捕捉的环境变化、函数曲率（通用在线学习，UOL）以及梯度尺度（Lipschitz 自适应性，LA）。同时以最优性能实现这些目标是一项重大挑战，部分原因在于专家建议预测算法的局限性。这些算法通常作为在线集成框架中的元算法，其次优性阻碍了整体的 UOL 性能。具体而言，解决“不可调谐”问题的现有算法在其遗憾界中相较于下界产生了多余的 $\sqrt{\log T}$ 因子。为解决这一问题，我们提出了一种新颖的乐观在线镜像下降算法，该算法使用大学习率进行辅助初始轮次。这种设计使得精细分析成为可能，其中生成的负项抵消了与间隙相关的因子，在 $\log\log T$ 因子范围内解决了不可调谐问题。利用我们改进的算法作为元算法，我们开发了首个在标准假设下同时实现最先进 GV 界和 LA 的 UOL 算法。我们的 UOL 结果克服了先前工作的关键局限性，特别是解决了 LA 机制与 GV 界遗憾分析之间的冲突——这是 Xie 等人强调的一个开放问题。