分布鲁棒优化与稳健统计
统计方法学
2024-01-29 v1
摘要
我们回顾了分布鲁棒优化（DRO），这是一种构建统计估计量的原则性方法，旨在对冲训练和部署环境之间期望损失偏差的影响。统计学和机器学习中许多众所周知的估计量（例如AdaBoost、LASSO、岭回归、dropout训练等）在精确意义上是分布鲁棒的。我们希望通过讨论这些著名估计量的DRO解释，让可能不太熟悉DRO的统计学家能够通过经典结果与其DRO等价形式之间的桥梁，找到进入DRO文献的途径。另一方面，统计学中的稳健性主题有着丰富的传统，与消除污染影响相关。因此，本文的另一个目标是阐明DRO与经典统计稳健性之间的区别。正如我们将看到的，这是两种根本不同的哲学，导致完全不同的估计量类型。在DRO中，统计学家对冲的是决策做出后发生的环境偏移；因此，DRO估计量在对抗性设置中倾向于悲观，导致一种最小-最大（min-max）类型的公式。在经典稳健统计中，统计学家寻求纠正决策做出前发生的污染；因此，稳健统计估计量倾向于乐观，导致一种最小-最小（min-min）类型的公式。
引用
@article{arxiv.2401.14655,
title = {Distributionally Robust Optimization and Robust Statistics},
author = {Jose Blanchet and Jiajin Li and Sirui Lin and Xuhui Zhang},
journal= {arXiv preprint arXiv:2401.14655},
year = {2024}
}