ComfyMind：基于树状规划与自适应反馈的通用生成
人工智能
2025-05-26 v1 计算机视觉与模式识别
摘要
随着生成模型的快速发展，通用生成日益受到关注，作为统一不同模态任务的单一系统的有前景的方案。尽管已取得进展，现有开源框架往往脆弱，难以支持复杂的实际应用，due to缺乏结构化的工作流程规划和执行层面的反馈。为此，我们提出 ComfyMind，一个旨在实现稳健和可扩展通用生成的协作式 AI 系统，基于 ComfyUI 平台构建。ComfyMind 引入两个核心创新：语义工作流程界面 (Semantic Workflow Interface, SWI)，将低级节点图抽象为用自然语言描述的可调用功能模块，实现高层次组合并减少结构性错误；搜索树规划机制配合局部反馈执行，将生成建模为分层决策过程，允许在每个阶段进行自适应纠正。这些组件共同提高了复杂生成工作流程的稳定性和灵活性。我们在三个公开基准测试上评估了 ComfyMind：ComfyBench、GenEval 和 Reason-Edit，涵盖生成、编辑和推理任务。结果表明，ComfyMind 持续优于现有开源基线，并达到与 GPT-Image-1 相当的性能。ComfyMind 为开源通用生成式 AI 系统的开发指明了前景之路。项目页面：https://github.com/LitaoGuo/ComfyMind
引用
@article{arxiv.2505.17908,
title = {ComfyMind: Toward General-Purpose Generation via Tree-Based Planning and Reactive Feedback},
author = {Litao Guo and Xinli Xu and Luozhou Wang and Jiantao Lin and Jinsong Zhou and Zixin Zhang and Bolan Su and Ying-Cong Chen},
journal= {arXiv preprint arXiv:2505.17908},
year = {2025}
}
备注
Project page: https://github.com/LitaoGuo/ComfyMind