CATP：保持精度的多模态模型推理交叉注意力令牌剪枝
计算与语言
2026-02-16 v2 人工智能
摘要
为了回应人们对大型多模态模型日益增长的兴趣，我们引入了交叉注意力令牌剪枝(CATP)，一种以精度为核心的令牌剪枝方法。我们的方法利用多模态模型（以 BLIP-2 为例）中的交叉注意力层来提取有价值的信息，以确定令牌重要性。CATP 在模型的各注意力头和各层之间采用了精细的投票策略。在评估中，与现有的令牌剪枝方法相比，CATP 的准确率最高提升了 12.1 倍，解决了计算效率与模型精度之间的权衡问题。
引用
@article{arxiv.2404.08567,
title = {CATP: Cross-Attention Token Pruning for Accuracy Preserved Multimodal Model Inference},
author = {Ruqi Liao and Chuqing Zhao and Jin Li and Weiqi Feng and Yi Lyu and Bingxian Chen and Haochen Yang},
journal= {arXiv preprint arXiv:2404.08567},
year = {2026}
}