BitsFusion：扩散模型1.99位权重量化
计算机视觉与模式识别
2024-10-29 v2
摘要
扩散式图像生成模型近年来通过合成高质量内容显示出巨大的成功，但这些模型包含大量参数，导致模型大小显著增大。保存和传输它们是资源受限设备上各种应用的主要瓶颈。本文发展了一种新型权重量化方法，将Stable Diffusion v1.5的UNet量化至1.99位，实现了7.9倍的模型大小缩减，同时展现出甚至优于原始模型的更好生成质量。我们的方法包括若干新技术，如为每个层分配最优位数、为量化模型初始化以获得更好性能，以及改进训练策略以显著降低量化误差。此外，我们广泛评估了量化模型在各种基准数据集上的表现，并通过人类评估来证明其优越的生成质量。
关键词
引用
@article{arxiv.2406.04333,
title = {BitsFusion: 1.99 bits Weight Quantization of Diffusion Model},
author = {Yang Sui and Yanyu Li and Anil Kag and Yerlan Idelbayev and Junli Cao and Ju Hu and Dhritiman Sagar and Bo Yuan and Sergey Tulyakov and Jian Ren},
journal= {arXiv preprint arXiv:2406.04333},
year = {2024}
}
备注
NeurIPS 2024. Project Page: https://snap-research.github.io/BitsFusion