通过零样本注意力键剪枝加速 3D 目标检测模型
计算机视觉与模式识别
2025-07-01 v3
摘要
基于查询并采用密集特征的方法在 3D 目标检测任务中取得了显著成功。然而，这些模型的计算需求，尤其是在图像尺寸较大且 Transformer 层数较多时，对在边缘设备上的高效运行构成了重大挑战。现有的剪枝和蒸馏方法要么需要重训练，要么专为 ViT 模型设计，难以迁移至 3D 检测器。为解决此问题，我们提出了一种针对 3D 目标检测模型中 Transformer 解码器的零样本运行时剪枝方法。该方法被称为 tgGBC（trim keys gradually Guided By Classification scores），基于重要性系统性地剪枝 Transformer 模块中的键。我们扩展分类得分并将其与注意力图相乘以获得每个键的重要性得分，随后根据重要性得分在每个 Transformer 层之后剪枝特定键。我们的方法在最新的 ToC3D 模型的 Transformer 解码器中实现了 1.99 倍加速，且性能损失极小，不到 1%。有趣的是，对于某些模型，我们的方法甚至提升了其性能。此外，我们将带有 tgGBC 的 3D 检测器部署在边缘设备上，进一步验证了该方法的有效性。代码可在 https://github.com/iseri27/tg_gbc 找到。
引用
@article{arxiv.2503.08101,
title = {Accelerate 3D Object Detection Models via Zero-Shot Attention Key Pruning},
author = {Lizhen Xu and Xiuxiu Bai and Xiaojun Jia and Jianwu Fang and Shanmin Pang},
journal= {arXiv preprint arXiv:2503.08101},
year = {2025}
}
备注
Accepted by ICCV2025. The code can be found at https://github.com/iseri27/tg_gbc