在线最小二乘及更广场景中静态与动态遗憾的权衡

递归最小二乘算法常使用遗忘因子作为适应非平稳数据流的启发式方法。本文的第一个贡献是严格刻画了一类在线牛顿算法中遗忘因子的效应。对于指数凹和强凸目标函数，这些算法实现了 $\max\{O(\log T),O(\sqrt{TV})\}$ 的动态遗憾，其中 $V$ 是比较序列路径长度的界。特别地，我们展示了带有遗忘因子的经典递归最小二乘法如何达到此动态遗憾界。通过改变 $V$，我们获得了静态遗憾与动态遗憾之间的权衡。为了得到计算上更高效的算法，我们的第二个贡献是针对强凸函数提出了一种新颖的梯度下降步长规则。我们的梯度下降规则恢复了上述阶最优的动态遗憾界。对于光滑问题，我们还可以获得 $O(T^{1-\beta})$ 的静态遗憾和 $O(T^\beta V^*)$ 的动态遗憾，其中 $\beta \in (0,1)$ 且 $V^*$ 是最小值点序列的路径长度。通过改变 $\beta$，我们获得了静态遗憾与动态遗憾之间的权衡。