1.58 位 FLUX
计算机视觉与模式识别
2024-12-30 v1 人工智能
机器学习
摘要
我们提出了 1.58 位 FLUX，这是首个成功对文本到图像生成模型 FLUX.1-dev 进行量化的方案，采用 1.58 位权重（即值为 {-1, 0, +1}）的离散权重，同时在生成 1024 x 1024 图像方面保持可比的性能。值得注意的是，我们的量化方法无需访问图像数据，仅依赖 FLUX.1-dev 模型的自监督信息。此外，我们开发了针对 1.58 位运算的自定义内核，实现了模型存储降低 7.7 倍、推理内存降低 5.1 倍，并提升了推理延迟。对 GenEval 和 T2I Compbench 基准的广泛评估表明，1.58 位 FLUX 在保持生成质量的同时，显著提升了计算效率。
引用
@article{arxiv.2412.18653,
title = {1.58-bit FLUX},
author = {Chenglin Yang and Celong Liu and Xueqing Deng and Dongwon Kim and Xing Mei and Xiaohui Shen and Liang-Chieh Chen},
journal= {arXiv preprint arXiv:2412.18653},
year = {2024}
}