MetaGFN：使用适应化 metadynamics 探索连续 GFlowNets 中的远程模式

生成流网络（GFlowNets）是一类通过学习的策略按指定奖励函数的比例对对象进行采样的生成模型。它们可以基于在策略内或外进行训练，需要在探索与开发动作之间取得平衡，以实现对目标分布的快速收敛。虽然已研究离散 GFlowNets 的探索策略，但连续情形下的探索仍待深入探讨，尽管连续域的局部连通性为新的探索算法提供了潜在机遇。本文引入适应化 metadynamics，这是一种可应用于连续域上任意黑箱奖励函数的 metadynamics 变体。我们将适应化 metadynamics 作为连续 GFlowNets 的探索策略。我们展示了在多个连续域上，所得算法 MetaGFN 加速了对目标分布的收敛，并发现了比以前用于 GFlowNets 的离线探索策略更遥远的奖励模式。