用于GFlowNets部分推断的能量分解学习
机器学习
2023-10-06 v1
摘要
本文研究生成流网络(GFlowNets)，以通过一系列动作从玻尔兹曼能量分布中采样对象。我们特别关注通过部分推断改进GFlowNet：利用中间状态或转移的评价训练流函数。为此，近期提出的前向GFlowNet基于评价中间状态的能量重新参数化流函数。然而，此类中间能量评价可能(i)计算代价过高或无法评价，且(ii)在沿动作序列存在大幅能量波动时甚至提供误导性的训练信号。为解决该问题，我们提出用于GFlowNets的能量分解学习(LED-GFN)。我们的主要思想是(i)将对象的能量分解为定义在状态转移上的可学习势函数，以及(ii)利用势函数重新参数化流函数。特别地，为产生有信息的局部信用分配，我们提出正则化势函数使其沿动作序列平滑变化。同样值得注意的是，使用我们所学习势函数训练GFlowNet可保持最优策略。我们在五个问题上实证验证了LED-GFN的优越性，包括非结构化与最大独立集、分子图以及RNA序列的生成。
引用
@article{arxiv.2310.03301,
title = {Learning Energy Decompositions for Partial Inference of GFlowNets},
author = {Hyosoon Jang and Minsu Kim and Sungsoo Ahn},
journal= {arXiv preprint arXiv:2310.03301},
year = {2023}
}