TimeStep Master：用于视觉中多功能且高效扩散模型的时间步 LoRA 专家非对称混合
计算机视觉与模式识别
2025-03-11 v1
摘要
在过去几年中，扩散模型推动了视觉生成的进步。然而，由于巨大的微调成本，这些大模型通常难以应用于下游任务。最近，低秩适应（LoRA）被应用于扩散模型的高效微调。不幸的是，由于在扩散过程的不同时间步使用相同的 LoRA，经过 LoRA 微调的扩散模型能力有限。为了解决这个问题，我们引入了一种通用且简洁的 TimeStep Master（TSM）范式，包含两个关键的微调阶段。在培育阶段（1 阶段），我们在不同的时间步区间应用不同的 LoRA 来微调扩散模型。这产生了能够有效捕捉不同噪声水平的不同 TimeStep LoRA 专家。在组装阶段（2 阶段），我们通过多尺度区间专家的核心-上下文协作，设计了一种新颖的 TimeStep LoRA 专家非对称混合。对于每个时间步，我们利用最小区间内的 TimeStep LoRA 专家作为无门控的核心专家，并使用较大区间内的专家作为具有时间相关门控的上下文专家。因此，我们的 TSM 可以通过最细粒度区间内的专家有效地对噪声水平进行建模，并自适应地整合来自其他尺度专家的上下文，从而提升扩散模型的多功能性。为了展示我们 TSM 范式的有效性，我们在扩散模型的三个典型且流行的 LoRA 相关任务上进行了广泛的实验，包括领域适应、后预训练和模型蒸馏。我们的 TSM 在所有这些任务上均取得了最先进的结果，贯穿各种模型结构（UNet、DiT 和 MM-DiT）和视觉数据模态（图像、视频），展示了其卓越的泛化能力。
引用
@article{arxiv.2503.07416,
title = {TimeStep Master: Asymmetrical Mixture of Timestep LoRA Experts for Versatile and Efficient Diffusion Models in Vision},
author = {Shaobin Zhuang and Yiwei Guo and Yanbo Ding and Kunchang Li and Xinyuan Chen and Yaohui Wang and Fangyikang Wang and Ying Zhang and Chen Li and Yali Wang},
journal= {arXiv preprint arXiv:2503.07416},
year = {2025}
}
备注
17 pages, 5 figures, 13 tables