在线预测线性回归
统计理论
2011-11-22 v2 统计理论
摘要
我们考虑标准线性回归问题的在线预测版本;目标是给定相应的解释变量及所有先前的观测值,预测每个连续的响应变量。我们主要关注预测区间而非点预测。线性回归分析中对预测区间的标准处理有两个缺陷:(1) 经典预测区间保证误差概率等于名义显著性水平 epsilon,但这一性质本身并不蕴含长期误差频率接近于 epsilon;(2) 它不适用于复杂系统的预测,因其假定观测数超过参数个数。我们给出一个一般结果,表明在在线协议下,经典预测区间的误差频率确实等于名义显著性水平,直至统计涨落。我们还描述了另一些回归模型,其中在观测数超过参数个数之前即可找到信息性的预测区间。其中一个仅假定观测独立同分布的模型在机器学习中很流行,但在回归的统计理论中极少被使用。
引用
@article{arxiv.math/0511522,
title = {On-line predictive linear regression},
author = {Vladimir Vovk and Ilia Nouretdinov and Alex Gammerman},
journal= {arXiv preprint arXiv:math/0511522},
year = {2011}
}
备注
34 pages; 6 figures; 1 table. arXiv admin note: substantial text overlap with arXiv:0906.3123