中文

ComfyUI-R1:探索工作流生成的推理模型

计算与语言 2025-06-12 v1 计算机视觉与模式识别 软件工程

摘要

AI生成内容已从单体模型演变为模块化工作流,特别是在ComfyUI等平台上,实现了创作流程的自定义。然而,设计有效的工作流需要大量专业知识来编排众多专用组件,为用户带来了陡峭的学习曲线。为应对这一挑战,我们引入了ComfyUI-R1——首个用于自动化工作流生成的大型推理模型。从我们精心策划的4K个工作流数据集出发,我们构建了包含节点选择、工作流规划和代码级工作流表示的长链推理(CoT)数据。ComfyUI-R1通过两阶段框架进行训练:(1)冷启动的CoT微调,使模型适应ComfyUI领域;(2)由细粒度规则-指标混合奖励引导的强化学习,以激励推理能力,确保格式有效性、结构完整性和节点级保真度。实验表明,我们的7B参数模型实现了97%的格式有效率,以及高通过率、节点级和图表级F1分数,显著超越了采用GPT-4o和Claude系列等领先闭源模型的先前最先进方法。进一步分析突显了推理过程的关键作用以及将工作流转换为代码的优势。定性比较揭示了我们在合成包含多样化节点的复杂工作流方面的优势,凸显了长CoT推理在AI艺术创作中的潜力。

关键词

引用

@article{arxiv.2506.09790,
  title  = {ComfyUI-R1: Exploring Reasoning Models for Workflow Generation},
  author = {Zhenran Xu and Yiyu Wang and Xue Yang and Longyue Wang and Weihua Luo and Kaifu Zhang and Baotian Hu and Min Zhang},
  journal= {arXiv preprint arXiv:2506.09790},
  year   = {2025}
}

备注

Work in progress. Try it out in ComfyUI-Copilot https://github.com/AIDC-AI/ComfyUI-Copilot