Flow-Factory：面向流匹配模型的强化学习统一框架
机器学习
2026-03-17 v3 计算机视觉与模式识别
摘要
强化学习已成为一种引导扩散和流匹配模型与人类偏好相匹配的有前景范式，但实践者面临碎片化的代码库、模型特定的实现以及工程复杂性。我们引入Flow-Factory，一个通过模块化、注册驱动的架构实现算法、模型与奖励解耦的统一框架。该设计使新算法和架构的无缝集成成为可能，体现在我们对GRPO、DiffusionNFT和AWM支持Flux、Qwen-Image和WAN视频模型方面的体现。通过最小化实现开销，Flow-Factory使研究人员能够轻松快速原型化和扩展未来创新。Flow-Factory提供生产就绪的内存优化、灵活的多奖励训练以及无缝的分布式训练支持。代码库已公开于https://github.com/X-GenGroup/Flow-Factory。
引用
@article{arxiv.2602.12529,
title = {Flow-Factory: A Unified Framework for Reinforcement Learning in Flow-Matching Models},
author = {Bowen Ping and Chengyou Jia and Minnan Luo and Hangwei Qian and Ivor Tsang},
journal= {arXiv preprint arXiv:2602.12529},
year = {2026}
}