基于流网络的非迭代多样化候选生成生成模型
机器学习
2021-11-22 v2
摘要
本文研究的问题是学习一个随机策略，用于从一系列动作中生成对象（如分子图），使得生成某对象的概率与该对象的给定正奖励成正比。标准回报最大化往往收敛到单一最大化回报的序列，但在某些情况下，我们希望采样一组多样化的高回报解。例如，在黑盒函数优化中，当可能进行的轮次很少、每轮可包含大批量查询，且批量应当多样化时（如新分子设计），就会出现此类情况。也可将此视为将能量函数近似转换为生成分布的问题。虽然 MCMC 方法可以实现这一点，但它们代价高昂且通常只进行局部探索。相反，训练生成策略可在训练期间分摊搜索成本并实现快速生成。利用时序差分学习的洞见，我们提出了 GFlowNet，其将生成过程视为流网络，从而能够处理不同轨迹产生相同终态的棘手情况，例如存在多种依次添加原子以生成某分子图的方式。我们将轨迹集合视为流，并将流一致性方程转化为学习目标，类似于将 Bellman 方程转化为时序差分方法。我们证明，所提目标的任意全局最小值都能产生从期望分布中采样的策略，并在奖励函数具有多模态的简单领域以及分子合成任务上展示了 GFlowNet 在性能与多样性上的提升。
引用
@article{arxiv.2106.04399,
title = {Flow Network based Generative Models for Non-Iterative Diverse Candidate Generation},
author = {Emmanuel Bengio and Moksh Jain and Maksym Korablyov and Doina Precup and Yoshua Bengio},
journal= {arXiv preprint arXiv:2106.04399},
year = {2021}
}
备注
Accepted at NeurIPS 2021