总变差分界序列的在线预测

我们考虑使用受独立 $\sigma$-subgaussian 噪声污染的观测值，对长度为 $n$、总变差至多为 $C_n$ 的序列进行在线预测的问题。我们设计了一种 $O(n\log n)$ 时间算法，该算法以高概率实现 $\tilde{O}(n^{1/3}C_n^{2/3}\sigma^{4/3} + C_n^2)$ 的累积平方误差。我们还证明了一个下界，其在所有参数上（除 $\log(n)$ 因子外）与上界匹配。据我们所知，这是第一个在预测总变差有界序列时达到最优 $O(n^{1/3})$ 速率的\emph{多项式时间}算法，也是第一个\emph{自适应于未知} $C_n$ 的算法。我们的证明技术利用了 Haar 小波基的特殊局部化结构以及经典小波平滑 [Donoho et al., 1998] 中对未知平滑参数的自适应性。我们还将我们的模型与动态后悔最小化及非平稳随机优化的丰富文献进行比较，我们的问题可视为其中的特例。我们表明，这些设置中的主力方法——具有固定重启计划的在线梯度下降及其变体——是一类\emph{线性预测器}的实例，其需要 $\tilde{\Omega}(\sqrt{n})$ 的次优后悔。这意味着必须使用更具自适应性的算法才能获得最优速率。