关于偏差-方差权衡的下界

对于高维和非参数统计模型，达到最优收敛速度的估计量平衡平方偏差与方差，这是一种常见现象。尽管这种平衡被广泛观察到，但对于是否存在能够避免偏差与方差之间权衡的方法，人们知之甚少。我们提出了一种通用策略，用于获得偏差小于给定先验界的所有估计量之方差的下界。这揭示了偏差-方差权衡在何种程度上不可避免，并允许量化不遵循该权衡的方法的性能损失。该方法基于若干关于方差的抽象下界，这些下界涉及相对于不同概率测度的期望变化以及诸如 Kullback-Leibler 或 $\chi^2$-散度等信息度量。在文章的第二部分，将这些抽象下界应用于若干统计模型，包括高斯白噪声模型、边界估计问题、高斯序列模型和高维线性回归模型。对于这些具体的统计应用，出现了不同类型的偏差-方差权衡，其强度差异显著。对于高斯白噪声模型中积分平方偏差与积分方差之间的权衡，我们建议将下界通用策略与一种归约技术相结合。这使我们能够将原问题归约为在更简单的统计模型中具有附加对称性性质的估计量之偏差-方差权衡下界。在高斯序列模型中，出现了偏差-方差权衡的不同相变。尽管偏差与方差之间存在非平凡的交互作用，但为实现极小极大估计收敛速度，平方偏差与方差的收敛速度不必平衡。