大规模并行重加权醒睡算法
机器学习
2023-05-22 v1 神经与进化计算
机器学习
摘要
重加权醒睡（RWS）是一类用于在非常通用的模型族中执行贝叶斯推断的机器学习方法。RWS 从底层近似后验中抽取 K 个样本，然后利用重要性加权提供对真实后验的更好估计，继而将近似后验更新至真实后验的重要性加权估计。然而，近期工作 [Chattergee and Diaconis, 2018] 指出，有效重要性加权所需样本数随潜变量个数呈指数增长。除极小模型外，获取如此大量的重要性样本在所有情况下均不可行。本文中，我们提出大规模并行 RWS，其通过抽取全部 n 个潜变量的 K 个样本并 individually 推理所有 K^n 种样本组合来规避该问题。尽管推理 K^n 种组合看似不可行，但所需计算可利用生成模型中的条件独立性在多项式时间内完成。我们展示了相较标准“全局”RWS（从完整联合中抽取 K 个样本）的显著改进。
引用
@article{arxiv.2305.11022,
title = {Massively Parallel Reweighted Wake-Sleep},
author = {Thomas Heap and Gavin Leech and Laurence Aitchison},
journal= {arXiv preprint arXiv:2305.11022},
year = {2023}
}