随机估计中偏差-方差权衡的增强平衡：一个极小极大视角
统计方法学
2019-02-14 v1
摘要
有偏随机估计量（例如用于噪声梯度估计的有限差分）通常包含需要恰当选择的参数，以平衡偏差与方差的影响。尽管这些参数关于仿真预算的最优阶数可轻易确定，但其精确最佳值依赖于通常事先未知的模型特征。我们引入一个框架来构造新类的估计量，基于对调谐参数值序列上仿真运行的明智组合，使得无论未知的模型特征如何，这些估计量始终优于常规方法中给定的调谐参数选择。我们通过所谓的渐近极小极大风险比来论证这种优越性，该风险比通过最小化我们的估计量与常规估计量均方误差之间的最坏情况渐近比值得到，其中最坏情况取遍模型未知量的任何可能取值。特别地，当极小极大比值小于 1 时，校准后的估计量保证在渐近意义上表现更好。我们针对广义的加权估计量类识别了该极小极大比值，以及该比值小于 1 的 regime。此外，我们证明最佳加权方案由两个具有不同衰减率的成分之和刻画。我们解释这如何源于对抗性选择模型常数时所进行的偏差-方差平衡，该问题可通过一个非凸优化问题的易处理重构来分析。
引用
@article{arxiv.1902.04673,
title = {Enhanced Balancing of Bias-Variance Tradeoff in Stochastic Estimation: A Minimax Perspective},
author = {Henry Lam and Xinyu Zhang and Xuhui Zhang},
journal= {arXiv preprint arXiv:1902.04673},
year = {2019}
}