量化扩散模型的内存高效微调
计算机视觉与模式识别
2024-07-19 v2 人工智能
摘要
Stable Diffusion XL、Imagen 和 DALL-E 3 等十亿参数扩散模型的出现极大地推动了生成式人工智能领域的发展。然而，其大规模架构因资源需求高和推理速度慢，给微调和部署带来了挑战。本文探索了相对未被充分研究但前景广阔的量化扩散模型微调领域。我们的分析表明，基线方法在微调扩散模型时忽略了模型权重中的独特模式以及不同时间步长的不同作用。为解决这些局限，我们提出了一种专为量化扩散模型设计的新型内存高效微调方法，命名为 TuneQDM。我们的方法引入量化尺度作为可分离函数，以考虑通道间权重模式；随后以时间步特定的方式优化这些尺度，从而有效反映每个时间步的作用。TuneQDM 在实现与全精度模型相当性能的同时，提供了显著的内存效率。实验结果表明，我们的方法在单主体和多主体生成任务中均一致优于基线，展现出与全精度模型相当的高主体保真度和提示词保真度。
引用
@article{arxiv.2401.04339,
title = {Memory-Efficient Fine-Tuning for Quantized Diffusion Model},
author = {Hyogon Ryu and Seohyun Lim and Hyunjung Shim},
journal= {arXiv preprint arXiv:2401.04339},
year = {2024}
}
备注
Accepted by ECCV2024. Code will be released at https://github.com/ugonfor/TuneQDM