从部分轨迹学习 GFlowNets 以提升收敛性与稳定性
机器学习
2023-06-06 v3 机器学习
摘要
生成流网络（GFlowNets）是一类用于在非归一化目标密度下训练离散对象序列采样器的算法，已成功用于多种概率建模任务。现有的 GFlowNet 训练目标或是局部于状态或转移，或是将奖励信号在整条采样轨迹上传播。我们认为这些方案代表了梯度偏差-方差权衡的两个极端，并提出了一种利用该权衡以减轻其有害影响的方法。受强化学习中 TD() 算法的启发，我们引入子轨迹平衡或 SubTB()，一种可从不同长度的局部动作子序列学习的 GFlowNet 训练目标。我们表明 SubTB() 在先前研究过的新环境中加速了采样器收敛，并使得在具有更长动作序列与更稀疏奖励景观的环境中训练 GFlowNet 成为可能。我们还对随机梯度动态进行了比较分析，阐明了 GFlowNet 训练中的偏差-方差权衡以及子轨迹平衡的优势。
引用
@article{arxiv.2209.12782,
title = {Learning GFlowNets from partial episodes for improved convergence and stability},
author = {Kanika Madan and Jarrid Rector-Brooks and Maksym Korablyov and Emmanuel Bengio and Moksh Jain and Andrei Nica and Tom Bosc and Yoshua Bengio and Nikolay Malkin},
journal= {arXiv preprint arXiv:2209.12782},
year = {2023}
}
备注
ICML 2023