基于软 Q 学习的最大熵 GFlowNets
机器学习
2025-02-24 v2
摘要
生成流网络 (Generative Flow Networks, GFNs) 已成为从未归一化分布中采样离散对象的强大工具，提供了可扩展的马尔可夫链蒙特卡洛 (MCMC) 方法替代方案。虽然 GFNs 的灵感来源于最大熵强化学习 (RL)，但两者之间的联系在很大程度上尚不明确，且似乎仅适用于特定情况。本文通过构建适当的奖励函数来解决这一联系问题，从而建立了 GFNs 与最大熵 RL 之间的精确关系。这一构建使我们能够引入最大熵 GFNs，与具有均匀向后策略的 GFNs 相比，它在无需对状态空间施加约束的情况下，实现了 GFNs 所能达到的最大熵。
引用
@article{arxiv.2312.14331,
title = {Maximum entropy GFlowNets with soft Q-learning},
author = {Sobhan Mohammadpour and Emmanuel Bengio and Emma Frejinger and Pierre-Luc Bacon},
journal= {arXiv preprint arXiv:2312.14331},
year = {2025}
}