GFlowNets与变分推断
机器学习
2023-03-03 v3 机器学习
摘要
本文在两类概率算法之间架起桥梁：（分层）变分推断（VI），通常用于建模连续空间上的分布；以及生成流网络（GFlowNets），已用于图等离散结构上的分布。我们证明，在某些情况下，VI算法等价于GFlowNets的特例，即它们学习目标的期望梯度相等。然后我们指出这两类算法之间的差异，并通过实验展示这些差异如何显现。值得注意的是，GFlowNets借鉴了强化学习的思想，比VI更适合离策略训练，而无需承担重要性采样带来的高梯度方差成本。我们认为，GFlowNets的这一特性可以为捕获多模态目标分布中的多样性提供优势。
引用
@article{arxiv.2210.00580,
title = {GFlowNets and variational inference},
author = {Nikolay Malkin and Salem Lahlou and Tristan Deleu and Xu Ji and Edward Hu and Katie Everett and Dinghuai Zhang and Yoshua Bengio},
journal= {arXiv preprint arXiv:2210.00580},
year = {2023}
}
备注
ICLR 2023 final version; code: https://github.com/GFNOrg/GFN_vs_HVI