通过蒙特卡洛树搜索树提升GFlowNets的性能
机器学习
2024-06-21 v1 人工智能
摘要
生成式流网络 (GFlowNets) 将从组合离散空间分布中进行采样视为顺序决策问题，通过训练随机策略逐步构建对象。最近的研究揭示了GFlowNets与熵正则化强化学习之间紧密的联系。基于这些洞见，我们提出通过应用蒙特卡洛树搜索树 (MCTS) 来增强GFlowNets的规划能力。具体而言，我们展示了MENTS算法 (Xiao等人，2019) 如何适用于GFlowNets，并可在训练和推理期间使用。我们的实验表明，这种方法提高了GFlowNet训练的样本效率以及预训练GFlowNet模型的生成保真度。
引用
@article{arxiv.2406.13655,
title = {Improving GFlowNets with Monte Carlo Tree Search},
author = {Nikita Morozov and Daniil Tiapkin and Sergey Samsonov and Alexey Naumov and Dmitry Vetrov},
journal= {arXiv preprint arXiv:2406.13655},
year = {2024}
}
备注
ICML 2024 SPIGM Workshop