分层划分预测器

在这项工作中，我们考虑一类用于序列预测的新算法——分层划分预测器（HPFs）。我们的目标是在一个强大的模型类上提供有吸引力的理论性质（遗憾保证）和实践性质（与深度网络相当的实证性能）。我们基于三项原则构建：将特征空间分层划分为子空间，融合专门为每个子空间设计的预测器，以及通过对这些独立预测器应用局部在线学习来学习 HPFs。遵循这些原则使我们能够获得遗憾保证，其中常量划分预测器（CPFs）作为竞争者。CPF 将特征空间划分为子空间，并对每个子空间使用固定的预测器进行预测。固定一个分层划分 $\mathcal H$ 并考虑任意可用 $\mathcal H$ 中元素构造划分的 CPF，我们提供两项保证：第一，一个通用保证，揭示了局部在线学习如何决定整个 HPF 在线学习的遗憾；第二，一个具体实例，考虑带有线性预测器（LHPF）和指数凹损失的 HPF，我们对长度为 $T$ 的序列获得 $O(k \log T)$ 遗憾，其中 $k$ 是竞争 CPF 的复杂度度量。最后，我们提供了将 LHPF 与各种基线（包括最先进的深度学习模型）在降水临近预报中进行比较的实验。我们的结果表明 LHPF 在各种设置下具有竞争力。