PDP：无参数可微剪枝即你所需要的一切
机器学习
2023-11-21 v3 人工智能
计算机视觉与模式识别
摘要
DNN 剪枝是一种流行的减小模型规模、改善推理延迟并最小化 DNN 加速器功耗的方法。然而，现有方法可能过于复杂、昂贵或低效，难以应用于各种视觉/语言任务、DNN 架构以及满足结构化剪枝约束。在本文中，我们提出了一种高效且有效的训练时剪枝方案——无参数可微剪枝（PDP），其在模型大小、准确率和训练成本方面提供了最先进的性能。PDP 在训练期间使用权重的动态函数，以无参数的方式为给定剪枝目标生成权重的软剪枝掩码。尽管是可微的，PDP 的简洁与高效使其具有足够的通用性，能够在各种视觉和自然语言任务上提供最先进的随机/结构化/通道剪枝结果。例如，对于 MobileNet-v1，PDP 在 86.6% 稀疏度下可实现 68.2% 的 ImageNet1k top-1 准确率，比最先进算法高出 1.7%。此外，PDP 在 BERT 上以 90% 稀疏度于 Multi-Genre Natural Language Inference 取得超过 83.1% 的准确率，而现有技术的次优结果为 81.5%。另外，PDP 可应用于结构化剪枝，如 N:M 剪枝和通道剪枝。对于 ResNet18 的 1:4 结构化剪枝，PDP 将 ImageNet1k top-1 准确率较最先进水平提高了超过 3.6%。对于 ResNet50 的通道剪枝，PDP 的 ImageNet1k top-1 准确率仅比最先进水平低 0.6%。
引用
@article{arxiv.2305.11203,
title = {PDP: Parameter-free Differentiable Pruning is All You Need},
author = {Minsik Cho and Saurabh Adya and Devang Naik},
journal= {arXiv preprint arXiv:2305.11203},
year = {2023}
}