局部搜索 GFlowNets
机器学习
2024-03-26 v2 机器学习
摘要
生成流网络（GFlowNets）是一种摊销式采样方法，学习在离散对象上正比于其奖励的分布。GFlowNets 展现出生成多样化样本的显著能力，但由于在宽泛样本空间上的过度探索，偶尔难以稳定地产生高奖励样本。本文提出用局部搜索训练 GFlowNets，聚焦于利用高奖励样本空间以解决此问题。我们的主要思想是通过分别由反向策略和前向策略引导的回溯与重构来探索局部邻域。这使得样本偏向高奖励解，而典型的 GFlowNet 解生成方案使用前向策略从零生成解，无法做到这一点。大量实验在若干生化任务上展示了显著的性能提升。源代码可用：\url{https://github.com/dbsxodud-11/ls_gfn}。
引用
@article{arxiv.2310.02710,
title = {Local Search GFlowNets},
author = {Minsu Kim and Taeyoung Yun and Emmanuel Bengio and Dinghuai Zhang and Yoshua Bengio and Sungsoo Ahn and Jinkyoo Park},
journal= {arXiv preprint arXiv:2310.02710},
year = {2024}
}
备注
ICLR 2024 (Spotlight paper), 18 pages, 17 figures