具有动态与自适应遗憾保证的非平稳无投影在线学习

无投影在线学习因其在求解具有复杂约束的高维问题时的高效性而受到越来越多的关注。然而，大多数现有的无投影在线方法侧重于最小化静态遗憾，遗憾的是这无法刻画环境变化的挑战。在本文中，我们研究非平稳无投影在线学习，并选择动态遗憾和自适应遗憾来衡量性能。具体而言，我们首先对一种名为 $\text{BOGD}_\text{IP}$ 的现有无投影方法给出一种新的动态遗憾分析，并建立了 $\mathcal{O}(T^{3/4}(1+P_T))$ 的动态遗憾上界，其中 $P_T$ 表示比较器序列的路径长度。然后，我们通过并行运行多个具有不同步长的 $\text{BOGD}_\text{IP}$ 算法，并实时跟踪最优者，将该上界改进为 $\mathcal{O}(T^{3/4}(1+P_T)^{1/4})$。我们的结果是首个针对无投影在线学习的通用情形动态遗憾上界，并且可通过令 $P_T = 0$ 恢复现有的 $\mathcal{O}(T^{3/4})$ 静态遗憾。此外，我们提出一种无投影方法，以对任意长度为 $\tau$ 的区间获得 $\tilde{\mathcal{O}}(\tau^{3/4})$ 的自适应遗憾上界，这几乎匹配该区间上的静态遗憾。其核心思想是动态维护一组 $\text{BOGD}_\text{IP}$ 算法，并通过一个元算法将它们组合。进而，我们证明该方法同样具有 $\mathcal{O}(T^{3/4}(1+P_T)^{1/4})$ 的动态遗憾上界。最后，实证研究验证了我们的理论发现。