EC-Diff：面向扩散模型的快速高质量端云协同推理
计算机视觉与模式识别
2025-07-18 v1
摘要
扩散模型在图像和视频合成方面展现出卓越的能力。随着模型规模和延迟的增加限制了用户体验，端云协同框架近期被提出以实现快速推理和高质量生成，其中云端模型启动高质量语义规划，边缘模型加速后期细化。然而，过度的云端去噪会延长推理时间，而不充分的去噪步骤会导致语义模糊，进而造成边缘模型输出不一致。为应对这些挑战，我们提出了 EC-Diff，它通过基于梯度的噪声估计加速云端推理，同时识别云端到边缘切换的最优交接点以保持生成质量。具体而言，我们设计了一种 K 步噪声近似策略，利用步骤间的噪声梯度并周期性地应用云端推理来调整误差，从而降低云端推理频率。然后，我们设计了一种两阶段贪婪搜索算法，以高效寻找噪声近似和边缘模型切换的最优参数。大量实验表明，与边缘推理相比，我们的方法显著提升了生成质量，同时与云端推理相比实现了平均 的推理加速。视频样本和源代码可在 https://ec-diff.github.io/ 获取。
引用
@article{arxiv.2507.11980,
title = {EC-Diff: Fast and High-Quality Edge-Cloud Collaborative Inference for Diffusion Models},
author = {Jiajian Xie and Shengyu Zhang and Zhou Zhao and Fan Wu and Fei Wu},
journal= {arXiv preprint arXiv:2507.11980},
year = {2025}
}
备注
21 pages, 8 figures. arXiv admin note: text overlap with arXiv:2408.12588 by other authors