二阶方法在序列预处理中的威力

针对具有长记忆的动态系统（即边际稳定系统）的序列预测方法，其遗憾值通常随底层生成模型的隐藏维度多项式增长。通用序列预处理（USP）是一种将来自线性动态系统的任意序列压缩为“预处理”序列的方法，该预处理序列需要指数级更短的内存即可实现准确预测。然而，预处理序列会产生指数级增大的直径和梯度，阻碍USP达到最优遗憾界。受最小描述长度原理启发，我们证明Vovk-Azoury-Warmuth (VAW) 算法与USP机制天然匹配。事实上，它在保持对直径指数级爆炸的鲁棒性的同时，利用了内存压缩的优势。我们证明，将USP与VAW结合可取得惊人的强结果：对于任何边际稳定线性动态系统，即使在存在非对称隐藏转移矩阵的情况下，该算法也能实现多对数遗憾 $O(\log^3 T)$。最后，我们通过提供关于切比雪夫多项式的新的复解析界，将USP的适用性扩展到有界谱系统之外，从而允许处理具有恒定复数参数的系统。