从二阶随机占优视角看统计改进经验优化的不可能性
最优化与控制
2021-05-31 v1 统计方法学
摘要
当随机优化中的潜在概率分布仅通过数据观测时,已有多种数据驱动公式被研究以获得近似最优解。我们表明,在某种意义上,此类公式都无法从理论上改善经验优化所得解的统计质量。我们通过证明:只要对潜在分布具备适当的光滑性,任何数据驱动解相对于预言机最优解的最优性差距(含偏差与方差)的一阶行为,均被经验优化二阶随机占优,来论证这一点。我们在一系列例子中展示了这种改进的不可能性,包括正则化优化、分布鲁棒优化、参数优化及贝叶斯推广。我们还讨论了我们的结果与半参数统计推断及数据驱动优化文献中其他视角之间的联系。
引用
@article{arxiv.2105.13419,
title = {On the Impossibility of Statistically Improving Empirical Optimization: A Second-Order Stochastic Dominance Perspective},
author = {Henry Lam},
journal= {arXiv preprint arXiv:2105.13419},
year = {2021}
}