序列预测者比较

考虑两名预测者，各自对随时间演化的一系列事件做出单一预测。我们提出一个相对基本的问题：我们如何比较这些预测者，无论是在线还是事后，同时避免对预测与结果如何生成做出不可验证的假设？在本文中，我们通过设计新颖的序列推断过程来估计预测分数随时间变化的差异，给出了该问题的严格回答。为此，我们采用置信序列（CS），其为可连续监控且在任意数据依赖停止时间（"任意时刻有效"）均有效的置信区间序列。我们的CS宽度自适应于分数差异的底层方差。其构建基础是一种博弈论统计框架，我们在其中进一步识别出用于序列检验弱零假设——即一名预测者是否平均上（而非总是）优于另一名——的e-过程与p-过程。我们的方法不对预测或结果做分布假设；我们的主要定理适用于任何有界分数，随后我们提供了针对无界分数的替代方法。我们通过比较现实世界中的棒球与天气预测者，实证验证了我们的方法。