HybridStitch：像素级和时间步级模型拼接用于扩散模型加速
计算机视觉与模式识别
2026-03-10 v1 人工智能
摘要
扩散模型在文本到图像生成应用中展现出惊人的能力。尽管生成输出先进，但存在巨大的计算开销，尤其是对于参数数十亿的大模型。先前的工作表明，用较小的模型替换部分去噪步骤仍可维持生成质量。然而，这些方法仅关注节省某些时间步的计算，忽略了单个时间步内计算需求的差异。本文提出了HybridStitch，这是一种新的文本到图像生成范式，将生成过程视为编辑。具体地，我们引入一种混合阶段，同时融合大模型和小模型。HybridStitch将整个图像分为两个区域：一个相对容易渲染的区域，使其能够早期过渡到小模型；另一个更复杂的区域，因此需要由大模型进行精细。HybridStitch运用小模型构建粗略草图，同时利用大模型编辑和细化复杂区域。根据我们的评估，HybridStitch在Stable Diffusion 3上实现了1.83倍的加速，快于所有现有的混合模型方法。
引用
@article{arxiv.2603.07815,
title = {HybridStitch: Pixel and Timestep Level Model Stitching for Diffusion Acceleration},
author = {Desen Sun and Jason Hon and Jintao Zhang and Sihang Liu},
journal= {arXiv preprint arXiv:2603.07815},
year = {2026}
}