FastFLUX：通过分块替换与三明治训练剪枝 FLUX
图形学
2026-01-14 v3 人工智能
摘要
文本到图像（T2I）生成的最新进展催生了高表达能力的模型，如扩散变换器（DiT），FLUX 即为典型代表。然而，其庞大的参数规模导致推理缓慢、内存占用高且部署性差。现有的加速方法（如单步蒸馏和注意力剪枝）往往遭受显著的性能退化并产生大量的训练成本。为解决这些局限性，我们提出了 FastFLUX，一个旨在提升 FLUX 推理效率的架构级剪枝框架。其核心是基于线性层的分块替换（BRLL）方法，该方法用轻量级线性层替换 ResBlocks 中结构复杂的残差分支，同时保留原始快捷连接以维持稳定性。此外，我们引入三明治训练（ST），一种利用 LoRA 监督邻近模块的局部微调策略，以缓解因结构替换导致的性能下降。实验表明，我们的 FastFLUX 在定性和定量评估中均保持了高图像质量，同时显著提升了推理速度，即使有 20% 的层次被剪枝。我们的代码将很快发布。
引用
@article{arxiv.2506.10035,
title = {FastFLUX: Pruning FLUX with Block-wise Replacement and Sandwich Training},
author = {Fuhan Cai and Yong Guo and Jie Li and Wenbo Li and Jian Chen and Xiangzhong Fang},
journal= {arXiv preprint arXiv:2506.10035},
year = {2026}
}
备注
14 pages