基于蒙特卡洛树搜索与值函数的离散分布近似推断
机器学习
2019-10-16 v1 人工智能
摘要
人工智能、工程与科学中的大量问题可自然形式化为离散概率模型中的推断。精确推断往往代价过高，因为它可能需要在整个定义域上评估（未归一化的）目标密度。此处我们考虑仅能有限次调用未归一化密度预言机的情形，由此带来挑战：应在定义域的何处分配这些函数调用以构造良好的近似解。我们将此问题表述为不确定性下的序贯决策实例，并利用强化学习的方法进行带预算约束的概率推断。具体而言，我们提出TreeSample算法，即蒙特卡洛树搜索（Monte Carlo Tree Search）对近似推断的适配。该算法将所有先前的密度预言机查询缓存在显式搜索树中，并基于用于探索的“最佳优先”启发式动态分配新查询，使用现有的上置信界方法。我们的非参数推断方法可有效结合编译目标近似条件分布的神经网络，进而引导推断搜索并实现跨多个目标分布的泛化。我们通过实验表明，在合成因子图上TreeSample优于标准近似推断方法。
引用
@article{arxiv.1910.06862,
title = {Approximate Inference in Discrete Distributions with Monte Carlo Tree Search and Value Functions},
author = {Lars Buesing and Nicolas Heess and Theophane Weber},
journal= {arXiv preprint arXiv:1910.06862},
year = {2019}
}