互联网边缘设备上神经网络的动态硬剪枝
机器学习
2022-01-20 v3
摘要
神经网络（NN）虽已成功应用于多项人工智能任务，却常存在不必要的过度参数化。在边缘/雾计算中，这可能使其在资源受限设备上的训练难以进行，与当前将智能从远程数据中心去中心化至本地受限设备的趋势相悖。因此，我们研究在具有固定且可能较小的内存预算的受限设备上训练有效 NN 模型的问题。我们旨在寻找既资源高效又性能有效、同时能实现显著网络压缩的技术。我们的动态硬剪枝（DynHP）技术在训练过程中增量剪枝网络，识别对模型精度贡献甚微的神经元。DynHP 可实现最终神经网络大小的可调缩减，并降低训练期间 NN 的内存占用。释放出的内存由一种动态批大小方法重用，以抵消硬剪枝策略引起的精度退化，提升其收敛性与有效性。我们通过三个公开数据集上的可复现实验评估 DynHP 性能，并与参考竞品比较。结果表明，DynHP 可将 NN 压缩多达 倍而无显著性能下降（相较竞品至多 的额外误差），并将训练内存占用降低多达 。
引用
@article{arxiv.2011.08545,
title = {Dynamic Hard Pruning of Neural Networks at the Edge of the Internet},
author = {Lorenzo Valerio and Franco Maria Nardini and Andrea Passarella and Raffaele Perego},
journal= {arXiv preprint arXiv:2011.08545},
year = {2022}
}