AlterMOMA：用于改进单模态遮蔽的相机-LiDAR融合模型冗余剪枝

相机-LiDAR融合模型显著增强了自动驾驶中的感知性能。融合机制利用每种模态的优势并最小化其弱点。此外，实际中，相机-LiDAR融合模型利用预训练的单模态 backbone 进行高效训练。然而，我们认为，直接将单模态相机和 LiDAR backbone 预训练模型加载到相机-LiDAR融合模型中会因融合机制的性质而引入两种模态之间的相似特征冗余。不幸的是，现有的剪枝方法是为单模态模型开发的，因而难以有效识别相机-LiDAR融合模型中这些特定的冗余参数。在本文中，我们提出了一种新颖的剪枝框架Alternative Modality Masking Pruning (AlterMOMA)，该框架采用每种模态的交替遮蔽以识别冗余参数。具体而言，当一种模态的参数被遮蔽（停用）时，缺失来自被遮蔽 backbone 的特征会迫使模型重新激活另一模态 backbone 以前的冗余特征。因此，可通过重新激活过程识别这些冗余特征及其相关冗余参数。我们提出的基于观察特定模态参数激活和停用时损失变化的重要性评分评估函数Alternative Evaluation (AlterEva) 可用于修剪冗余参数。针对nuScenes和KITTI数据集上的大量实验涵盖多种任务、基线模型和剪枝算法，表明AlterMOMA在各种情况下均优于现有剪枝方法，实现了最先进的性能。