基于根部吸收前缀轨迹平衡与子模函数回放的 GFlowNet 训练
机器学习
2026-05-29 v2 人工智能
摘要
生成流网络（GFlowNet）使大语言模型能够逼近奖励比例后验分布，但仍易发生模式坍缩，表现为前缀坍缩和长度偏差。我们认为这源于两个因素：（i）对早期前缀的信用分配不足，（ii）偏置的回放导致训练流程分布发生偏移。为此，我们提出一种名为 Rooted absorbed prefix Trajectory Balance（RapTB）的目标函数，在根部锚定子轨迹监督，并通过吸收后缀的备份将终端奖励传递至中间前缀，从而提供稠密的前缀级学习信号。为缓解回放引起的分布偏移，我们进一步引入 SubM（子模函数回放刷新策略），以促进高奖励和多样性。经实验验证，在采用 SMILES 字符串的分子生成等任务中，RapTB 结合 SubM 能持续改善优化性能和分子多样性，同时保持高有效性。
引用
@article{arxiv.2603.00454,
title = {Rooted Absorbed Prefix Trajectory Balance with Submodular Replay for GFlowNet Training},
author = {Xi Wang and Wenbo Lu and Shengjie Wang},
journal= {arXiv preprint arXiv:2603.00454},
year = {2026}
}