生成式增广流网络
机器学习
2022-10-10 v1
摘要
生成式流网络 (Generative Flow Network, GFlowNet) 是一种概率框架,其中智能体学习用于对象生成的随机策略,使得生成某对象的概率正比于给定的奖励函数。与基于奖励最大化的强化学习方法相比,其在发现高质量且多样的解方面已被证明有效。然而,GFlowNet 仅从终止状态的奖励中学习,这限制了其适用性。事实上,中间奖励在学习中起着关键作用,例如通过内在动机在尤其具挑战性的稀疏奖励任务中提供中间反馈。受此启发,我们提出生成式增广流网络 (Generative Augmented Flow Networks, GAFlowNets),一种将中间奖励引入 GFlowNets 的新型学习框架。我们通过内在动机指定中间奖励,以应对稀疏奖励环境中的探索问题。GAFlowNets 可联合利用基于边与基于状态的内在奖励来改善探索。基于在 GridWorld 任务上的大量实验,我们展示了 GAFlowNet 在收敛性、性能与解多样性方面的有效性与高效性。我们进一步表明 GAFlowNet 可扩展至更复杂且大规模的分子生成领域,并在该领域取得一致且显著的性能提升。
引用
@article{arxiv.2210.03308,
title = {Generative Augmented Flow Networks},
author = {Ling Pan and Dinghuai Zhang and Aaron Courville and Longbo Huang and Yoshua Bengio},
journal= {arXiv preprint arXiv:2210.03308},
year = {2022}
}