退火估计归一化常数的可证明收益：重要性采样、噪声对比估计及其拓展
机器学习
2023-10-10 v2 机器学习
摘要
近期研究基于退火思想发展了若干用于估计归一化常数（配分函数）的蒙特卡洛方法。这意味着从一条连接易处理的“提议”分布与未归一化“目标”分布的路径上依次采样。该族中著名的估计量包括退火重要性采样与退火噪声对比估计（NCE）。此类方法依赖于若干设计选择：使用何种估计量、使用何种分布路径以及是否使用路径；迄今尚无从效率角度的确定性理论。本文以各设计选择所产生的渐近估计误差来评估之。首先，我们证明使用 NCE 比重要性采样估计量更高效，但在无穷小路径步长极限下该差异消失。其次，我们发现使用几何路径可将估计误差从关于目标与提议分布间参数距离的指数函数降为多项式函数。第三，我们发现算术路径虽鲜有使用，却可相对于普遍使用的几何路径提供最优性性质。事实上，在特定极限下最优路径为算术路径。基于该理论，我们最终提出一种两步估计量以高效逼近最优路径。
引用
@article{arxiv.2310.03902,
title = {Provable benefits of annealing for estimating normalizing constants: Importance Sampling, Noise-Contrastive Estimation, and beyond},
author = {Omar Chehab and Aapo Hyvarinen and Andrej Risteski},
journal= {arXiv preprint arXiv:2310.03902},
year = {2023}
}