从 Kullback–Leibler 散度看高维罕见事件分析中的自适应重要性采样方案

我们研究两种自适应重要性采样方案，用于估计高维 regime $d \to \infty$（其中 $d$ 为维度）下罕见事件的概率。第一种方案是著名的交叉熵（CE）方法，第二种方案受近期结果启发，使用最优辅助分布在一个低维子空间上的投影作为辅助分布。在这些方案中，使用了两个样本：第一个用于学习辅助分布，第二个根据所学分布抽取，用于执行最终的概率估计。与样本量需随维度指数增长以使估计量一致并避免权重退化现象的普遍看法相反，我们发现第一阶段学习步骤中多项式样本量已足够。我们在所寻概率远离 0 的假设下证明该结果。对于 CE，我们给出了关于隐式多项式增长率的洞见。相比之下，我们在一个假定条件分布样本可用的简单计算框架下研究第二种方案。这使得我们可以证明样本量仅需像 $rd$ 一样增长，其中 $r$ 为投影的有效维度，从而凸显了这些投影方法的潜在益处。