对正规性进行“过度优化”:预算受限的情境决策不确定性量化
最优化与控制
2025-10-14 v3 统计方法学
机器学习
摘要
我们研究情境随机优化的不确定性量化,聚焦于加权抽样平均值近似 (wSAA),其基于协变量的机器学习相关性权重。尽管 wSAA 在情境决策中被广泛应用,但其不确定性量化仍有限。此外,计算预算将样本大小与优化精度绑定,形成一种耦合,标准分析常忽略这一点。我们为 wSAA 建立中心极限定理,构建基于渐近正态性的置信区间,用于最优条件期望成本。我们分析了在计算预算下的统计-计算权衡,刻画了如何在样本大小和优化迭代之间分配资源,以平衡统计误差和优化误差。这些分配规则取决于目标的结构参数;误估这些参数可能破坏 wSAA 估计器的渐近最优性。我们指出,“过度优化”(运行超过规范规则的迭代次数)可缓解这种误估,同时保持渐近正态性,代价是预算受限估计器收敛速率略有减缓。常见的“数据越多越好”直觉在计算受限条件下可能失败:增加样本大小可能导致统计推断恶化,因为强制减少算法迭代次数并产生更大的优化误差。我们的框架为在计算受限条件下进行情境决策的不确定性量化提供了原则方法,为在数据获取和优化 effort 之间分配有限资源提供了实用指导,阐明了在确保条件性能置信区间有效性时,何时应优先进行额外的优化迭代而非获取更多数据。
引用
@article{arxiv.2503.12747,
title = {"Over-optimizing" for Normality: Budget-constrained Uncertainty Quantification for Contextual Decision-making},
author = {Yanyuan Wang and Xiaowei Zhang},
journal= {arXiv preprint arXiv:2503.12747},
year = {2025}
}
备注
Main body: 32 pages, 8 figures; supplemental material: 16 pages, 2 figures