用于离散概率建模的生成流网络
机器学习
2022-06-10 v2 机器学习
摘要
我们提出基于能量的生成流网络（EB-GFN），一种用于高维离散数据的新型概率建模算法。基于生成流网络（GFlowNets）的理论，我们通过随机数据构造策略对生成过程建模，从而将昂贵的 MCMC 探索分摊为从 GFlowNet 采样的固定数量动作。我们展示了 GFlowNets 如何近似执行大块 Gibbs 采样以在模式间混合。我们提出一个框架来联合训练 GFlowNet 与能量函数，使得 GFlowNet 学习从能量分布中采样，而能量函数使用带有来自 GFlowNet 负样本的近似 MLE 目标进行学习。我们在各种概率建模任务上展示了 EB-GFN 的有效性。代码公开于 https://github.com/zdhNarsil/EB_GFN。
引用
@article{arxiv.2202.01361,
title = {Generative Flow Networks for Discrete Probabilistic Modeling},
author = {Dinghuai Zhang and Nikolay Malkin and Zhen Liu and Alexandra Volokhova and Aaron Courville and Yoshua Bengio},
journal= {arXiv preprint arXiv:2202.01361},
year = {2022}
}
备注
Accepted by ICML 2022