普涂型生成流

生成流网络 (GFNs) 最初在有向无环图上引入，用于从未归一化分布密度中进行抽样。近期工作已扩展其理论框架，允许更灵活的生成方法并扩大应用范围。然而，在连续设置中训练 GFNs 仍面临诸多挑战，包括流匹配损失的不可解性、非无环训练的有限测试，以及 imitation learning (IL) 中需要独立奖励模型的问题。本文提出一族称为 Ergodic Generative Flows (EGFs) 的生成流，以解决上述问题。首先，我们利用鲁棒性构建具有简单生成流的有限全局定义变换（微分同构）的网络，具备普适性保证及可计算的流匹配损失 (FM loss)。其次，我们引入一种新的损失函数，将交叉熵与弱流匹配控制耦合，称为 KL-weakFM loss。其设计用于无需独立奖励模型的 IL 训练。我们在玩具 2D 任务和 NASA 的真实数据集（球面）上使用 KL-weakFM loss 评估 IL-EGFs。此外，我们进行玩具 2D 强化学习实验，针对目标奖励使用 FM loss。