元学习 MCMC 提议
人工智能
2019-01-03 v5 机器学习
机器学习
摘要
基于采样的概率推断的有效实现通常需要人工构造的、特定于模型的提议。受近期元学习在训练能够泛化到未见环境的智能体方面取得的进展启发，我们提出了一种元学习方法来构建有效且可泛化的 MCMC 提议。我们将提议参数化为神经网络，以提供对块 Gibbs 条件分布的快速近似。学习到的神经提议能够泛化到不同模型中常见结构基序的出现，从而允许构建一个学习到的推断原语库，无需特定于模型的训练即可加速对未见模型的推断。我们探索了若干应用，包括开放宇宙高斯混合模型（其中我们学习到的提议优于手工调优的采样器），以及一个现实世界的命名实体识别任务（其中我们的采样器产生了比经典单点 Gibbs 采样更高的最终 F1 分数）。
引用
@article{arxiv.1708.06040,
title = {Meta-Learning MCMC Proposals},
author = {Tongzhou Wang and Yi Wu and David A. Moore and Stuart J. Russell},
journal= {arXiv preprint arXiv:1708.06040},
year = {2019}
}
备注
32nd Conference on Neural Information Processing Systems (NeurIPS 2018), Montreal, Canada