过度乐观：由 SURE 调节的估计器的表观误差偏倚有多大？
统计理论
2017-01-17 v2 统计理论
摘要
统计预测中几乎所有的估计器都以某种方式带有一个相关的调节参数。给定数据后，通常的做法是选择能使估计器预测误差的构造估计值最小化的调节参数值；我们关注 Stein 无偏风险估计器，即 SURE（Stein, 1981; Efron, 1986），它通过将观测训练误差与估计器自由度的估计相加，形成预测误差的无偏估计。许多作者在各种问题设置中提倡通过 SURE 最小化进行参数调节，因此自然会产生一个问题：SURE 调节后的估计器的预测误差是多少？一种明显的策略是直接使用 SURE 报告的表观误差估计，即 SURE 准则在其最小值处的值，来估计 SURE 调节后估计器的预测误差。但这不再是无偏的；事实上，我们预期 SURE 准则的最小值相对于真实预测误差存在系统性的向下偏倚。在本文中，我们正式描述并研究了这种偏倚。
引用
@article{arxiv.1612.09415,
title = {Excess Optimism: How Biased is the Apparent Error of an Estimator Tuned by SURE?},
author = {Ryan J. Tibshirani and Saharon Rosset},
journal= {arXiv preprint arXiv:1612.09415},
year = {2017}
}
备注
39 pages, 3 figures