面向数据稀缺迁移学习的基于 LRP 的剪枝 accuracy-aware 扩展：防止级联精度退化
计算机视觉与模式识别
2026-05-29 v3 人工智能
机器学习
摘要
在大规模数据集如 ImageNet 上预训练的卷积神经网络（CNNs）广泛用作特征提取器，用于构建针对特定任务从稀缺数据中获得高精度分类模型。在此场景下，由于数据稀缺，微调预训练 CNN 困难， necessitating 使用固定权重。然而，当权重保持固定时，许多不贡献于目标任务的滤波器仍保留在模型中，导致不必要的冗余和降低效率。因此，需要有效的方法通过剪枝那些对推理不必要的滤波器来减少模型大小。为此，提出了利用基于 LRP（Layer-wise Relevance Propagation）的方法。LRP 对每个滤波器对推理结果的贡献进行量化，从而实现对低相关性滤波器的剪枝。然而，现有的 LRP-based 剪枝方法已被观察到导致级联精度退化。本研究引入一种针对现有 LRP-based 滤波器剪枝方法的 accuracy-aware 剪枝控制机制，通过动态调整剪枝率和剪枝顺序（基于类别精度的调和均值），抑制级联精度退化，在有限数据环境中压缩预训练模型，同时保持任务特定性能。我们展示了该控制机制有效缓解了级联精度退化，并实现了比现有 LRP-based 剪枝方法更高的分类精度，使 VGG16 在类别平均精度-剪枝率曲线下面积（AUC）上提高约 15%。
引用
@article{arxiv.2511.10861,
title = {An accuracy-aware extension to LRP-based pruning for CNNs to prevent cascading accuracy degradation in data-scarce transfer learning},
author = {Daisuke Yasui and Toshitaka Matsuki and Hiroshi Sato},
journal= {arXiv preprint arXiv:2511.10861},
year = {2026}
}
备注
Accepted to scientific reports. The title was revised during the peer review process