中文

扩散模板:面向可控扩散的统一插件框架

机器学习 2026-04-28 v1 人工智能 计算机视觉与模式识别 软件工程

摘要

可控扩散方法显著扩展了扩散模型的实际应用性,但通常开发为孤立的、特定于 backbone 的系统,存在不兼容的训练管道、参数格式和运行挂钩。这种片段化使跨任务复用基础设施、跨 backbone 迁移能力或在单个生成管道中组合多个控制几乎不可能。我们提出扩散模板(Diffusion Templates),这是一个统一且开源的插件框架,将 base-model 推理与可控能力注入解耦。该框架由三个组件构成:将任意任务特定输入映射到中间能力表示的模板模型(Template models),作为能力注入的标准化接口的模板缓存(Template cache),以及加载、合并并注入一个或多个模板缓存到 base diffusion 运行时的模板管道(Template pipeline)。由于该接口以系统层面定义,而非绑定到特定控制架构,异构能力载体如 KV-Cache 和 LoRA 都可以在同一抽象下受支持。基于此设计,我们构建了一个多样化的模型库,涵盖结构控制、亮度调整、颜色调整、图像编辑、超分辨率、锐度增强、审美对齐、内容参考、局部填充和年龄控制等案例研究。这些案例显示,扩散模板可以在保持模块性、可组合性和实际可扩展性的同时,统一广泛的可控生成任务。所有资源将开源,包括代码、模型和数据集。

关键词

引用

@article{arxiv.2604.24351,
  title  = {Diffusion Templates: A Unified Plugin Framework for Controllable Diffusion},
  author = {Zhongjie Duan and Hong Zhang and Yingda Chen},
  journal= {arXiv preprint arXiv:2604.24351},
  year   = {2026}
}

备注

21 pages, 15 figures