AdvantageFlow：基于优势加权最小二乘的强化学习算法用于流模型
机器学习
2026-05-26 v1 人工智能
计算机视觉与模式识别
摘要
我们介绍了 AdvantageFlow，这是一种用于rectified flow模型的前向过程强化学习算法。与Flow-GRPO优化逆过程不同，我们优化的是优势加权的前向过程预测损失。当优势为负且损失函数变为非凸时，这一优化问题不稳定。我们通过滚动策略正则化来稳定它，该方法减少方差，源于拟合局部奖励改进的目标分布。我们在使用Stable Diffusion 3.5 Medium的图像生成任务上评估了AdvantageFlow。它在性能上优于Flow-GRPO和基于负向感知微调的前向过程RL最新基线。
引用
@article{arxiv.2605.26013,
title = {AdvantageFlow: Advantage-Weighted Least Squares for RL in Flow Models},
author = {Branislav Kveton and Anup Rao and Subhojyoti Mukherjee and Krishna Kumar Singh and Viet Dac Lai},
journal= {arXiv preprint arXiv:2605.26013},
year = {2026}
}