结合相关性与幅度的资源感知 DNN 剪枝
机器学习
2025-03-28 v2 神经与进化计算
摘要
剪枝神经网络，即在保持其准确率的同时移除部分参数，是降低机器学习流水线延迟的主要方法之一，尤其是在资源和/或带宽受限的场景中。在此背景下，剪枝技术，即如何选择要移除的参数，对系统性能至关重要。本文提出了一种新颖的剪枝方法，称为 FlexRel，其基于结合训练时和推理时的信息，即参数幅度与相关性，以期在节省计算资源和带宽的同时提升最终的准确率。我们的性能评估表明，FlexRel 能够实现更高的剪枝率，在典型的准确率目标下可节省超过 35% 的带宽。
引用
@article{arxiv.2405.13088,
title = {Combining Relevance and Magnitude for Resource-Aware DNN Pruning},
author = {Carla Fabiana Chiasserini and Francesco Malandrino and Nuria Molner and Zhiqiang Zhao},
journal= {arXiv preprint arXiv:2405.13088},
year = {2025}
}