稀疏神经网络的激活函数学习
机器学习
2023-06-06 v2 神经与进化计算
摘要
稀疏神经网络（SNNs）在推理时有望以显著更低的能耗与内存达到与稠密网络相当的性能和精度。然而，SNNs 带来的精度下降，尤其在高压缩率下，在关键部署场景中会成为问题。近期工作通过复杂的剪枝技术缓解该问题，而我们将焦点转向一个被忽视的因素：超参数与激活函数。我们的分析表明，精度下降还可归因于（i）一律将 ReLU 作为激活函数的默认选择，以及（ii）使用与稠密网络相同的超参数微调 SNNs。因此，我们专注于学习一种为稀疏网络调优激活函数的新方法，并将其与针对稀疏网络的独立超参数优化（HPO）机制相结合。通过在 MNIST、CIFAR-10 和 ImageNet-16 数据集上训练的主流 DNN 模型（LeNet-5、VGG-16、ResNet-18 和 EfficientNet-B0）进行实验，我们表明这两种方法的新型组合（简称为 SAFS，即稀疏激活函数搜索）相较于默认训练协议，在 LeNet-5、VGG-16 和 ResNet-18 上分别带来最高 15.53%、8.88% 和 6.33% 的绝对精度提升，尤其在高压缩率下。我们的代码见 https://github.com/automl/SAFS
引用
@article{arxiv.2305.10964,
title = {Learning Activation Functions for Sparse Neural Networks},
author = {Mohammad Loni and Aditya Mohan and Mehdi Asadi and Marius Lindauer},
journal= {arXiv preprint arXiv:2305.10964},
year = {2023}
}