StepVAR：面向视觉自回归模型的结构-纹理引导剪枝
计算机视觉与模式识别
2026-03-03 v1
摘要
基于下一尺度预测的视觉自回归(VAR)模型实现了高效的分层生成，但在高分辨率时推理成本呈二次增长。我们观察到计算密集的后期尺度主要细化高频纹理并具有显著空间冗余， 相较于决定全局结构布局的早期尺度。现有剪枝方法主要关注高频检测用于token选择，常忽视结构一致性导致全局语义退化。为此，我们提出 StepVAR，一个训练-free token 剪枝框架，通过同时考虑结构和纹理重要性加速 VAR 推理。具体而言，我们采用轻量级高通滤波器捕获局部纹理细节，利用主成分分析(PCA)保留全局结构信息。这种双判据设计使模型能够保留对细粒度保真度和整体构图均至关重要的token。为维持稀疏token下的有效下一尺度预测，我们进一步引入最近邻特征传播策略，从被剪枝表示重建稠密特征图。广泛实验表明，StepVAR 在多种 VAR 架构上实现了显著推理加速，同时保持生成质量。定量和定性评估一致显示，我们的方法优于现有加速方法，验证了其有效性和广泛适用性。
引用
@article{arxiv.2603.01757,
title = {StepVAR: Structure-Texture Guided Pruning for Visual Autoregressive Models},
author = {Keli Liu and Zhendong Wang and Wengang Zhou and Houqiang Li},
journal= {arXiv preprint arXiv:2603.01757},
year = {2026}
}