基于损失引导的辅助智能体用于克服GFlowNets中的模式崩溃
机器学习
2025-11-11 v2
摘要
虽然生成流网络(GFlowNets)旨在捕获奖励函数的多个模式,但在实际应用中常常出现模式崩溃,陷入早期发现的模式中,需要长时间训练才能发现多样化的解决方案。现有的探索技术常依赖经验性的新颖信号。我们提出了损失引导的GFlowNets(LGGFN),一种新方法,其中辅助GFlowNet的探索直接由主GFlowNet的训练损失驱动。通过优先考虑主模型表现高损失的轨迹,LGGFN聚焦于状态空间中 poorly 理解的区域进行采样。这种有针对性的探索显著加快了发现多样化高奖励样本的速度。实验在包括网格环境、结构序列生成、贝叶斯结构学习和生物序列设计等多样化基准上表明,LGGFN在探索效率和样本多样性方面 consistently 优于基线方法。例如,在一个具有挑战性的序列生成任务中,它同时将探索误差指标约降低99%,并发现了超过40倍的唯一有效模式。
引用
@article{arxiv.2505.15251,
title = {Loss-Guided Auxiliary Agents for Overcoming Mode Collapse in GFlowNets},
author = {Idriss Malek and Aya Laajil and Abhijith Sharma and Eric Moulines and Salem Lahlou},
journal= {arXiv preprint arXiv:2505.15251},
year = {2025}
}
备注
Accepted to AAAI 2026