单 GPU 上的高质量扩散蒸馏：相对与绝对位置匹配
计算机视觉与模式识别
2025-03-27 v1 人工智能
摘要
我们提出了相对位置匹配 (RAPM) 和绝对位置匹配的方法，用于实现可在单 GPU 上高效训练的高质量扩散蒸馏。近期的扩散蒸馏研究已取得优异成果，如分期一致模型 (PCM) 和改进的分布匹配蒸馏 (DMD2)。然而，这些方法在训练时通常需要许多 GPU（例如 8-64）和大批量大小（例如 128-2048），导致内存和计算需求超出部分研究者的资源。RAPM 提供了批量大小为 1 的单 GPU 扩散蒸馏训练。该方法试图通过匹配相对位置和绝对位置来模拟教师模型的抽样轨迹。相对位置的设计灵感来自 PCM。相应地，RAPM 引入了两个判别器，一个用于匹配相对位置，另一个用于匹配绝对位置。在 StableDiffusion (SD) V1.5 和 SDXL 上的实验结果表明，RAPM 使用 4 个时间步可产生与最佳方法（1 个时间步）相当的 FID 分数，同时在极有限的计算资源下实现。
引用
@article{arxiv.2503.20744,
title = {High Quality Diffusion Distillation on a Single GPU with Relative and Absolute Position Matching},
author = {Guoqiang Zhang and Kenta Niwa and J. P. Lewis and Cedric Mesnage and W. Bastiaan Kleijn},
journal= {arXiv preprint arXiv:2503.20744},
year = {2025}
}