保形预测教程

保形预测利用过去的经验来确定新预测的精确置信水平。给定误差概率 $\epsilon$，以及一种对标签 $y$ 作出预测 $\hat{y}$ 的方法，它会产生一个标签集合（通常包含 $\hat{y}$），该集合包含 $y$ 的概率为 $1-\epsilon$。保形预测可应用于任何产生 $\hat{y}$ 的方法：最近邻方法、支持向量机、岭回归等。保形预测专为在线设定设计，在这种设定下，标签被依次预测，每个标签在下一个标签被预测之前揭晓。保形预测最新颖和最有价值的特征是，如果连续的样本是从同一分布中独立采样的，那么连续的预测将有 $1-\epsilon$ 的时间是正确的，即使它们是基于不断积累的数据集而不是独立的数据集。除了连续样本独立采样的模型外，其他在线压缩模型也可以使用保形预测。广泛使用的高斯线性模型就是其中之一。本教程对保形预测理论进行了自成体系的论述，并详细讲解了几个数值例子。对该主题更全面的论述见 Vladimir Vovk、Alex Gammerman 和 Glenn Shafer 所著的《Algorithmic Learning in a Random World》（Springer, 2005）。