GFlowNet-EM：用于学习组合隐变量模型
机器学习
2023-06-06 v2 机器学习
摘要
具有离散组合隐变量的隐变量模型（LVM）因隐变量可能配置的组合爆炸而重要却具挑战性。对隐变量后验建模的一个关键权衡在于表达力与可解优化之间。对于基于期望最大化（EM）的算法，E 步常因后验的限制性近似而难以处理。我们提出将 GFlowNets（通过学习的随机策略序贯构建样本以从非归一化密度采样的算法）用于此难解 E 步。通过训练 GFlowNets 从隐变量后验采样，我们利用其作为面向离散结构复杂分布的自 amortized 变分推断算法的优势。我们的方法 GFlowNet-EM 支持具离散组合隐变量的富表达力 LVM 训练，非上下文无关文法归纳及使用离散变分自编码器（VAE）且编码器不强制条件独立的图像实验均证明了这一点。
引用
@article{arxiv.2302.06576,
title = {GFlowNet-EM for learning compositional latent variable models},
author = {Edward J. Hu and Nikolay Malkin and Moksh Jain and Katie Everett and Alexandros Graikos and Yoshua Bengio},
journal= {arXiv preprint arXiv:2302.06576},
year = {2023}
}
备注
ICML 2023; code: https://github.com/GFNOrg/GFlowNet-EM