INTERLACE: 大型视觉语言模型中的交错层剪枝与高效适应
计算机视觉与模式识别
2025-11-26 v1
摘要
我们提出 INTERLACE,一种新型框架,通过样本高效微调保持性能的同时修剪 VLMs 中的冗余层。现有的层剪枝方法在应用于 VLMs 时会导致显著的性能下降。相反,我们分析连续三层的 triplet 以识别局部冗余,删除前两层中最冗余的那一层,对剩余层进行微调以补偿丢失的容量,并冻结第三层作为微调期间稳定锚点。我们发现,这种交错 微调-冻结设计使快速收敛只需最小数据。通过仅在 1% FineVision 数据集上对 25% 网络进行单轮微调,Interlace 实现了 88.9% 的平均性能保留,实现了 SOTA 性能。我们的代码可用: https://github.com/pmadinei/Interlace.git
引用
@article{arxiv.2511.19676,
title = {INTERLACE: Interleaved Layer Pruning and Efficient Adaptation in Large Vision-Language Models},
author = {Parsa Madinei and Ryan Solgi and Ziqi Wen and Jonathan Skaza and Miguel Eckstein and Ramtin Pedarsani},
journal= {arXiv preprint arXiv:2511.19676},
year = {2025}
}