SeReNe：基于神经元敏感性的正则化以实现神经网络结构化稀疏
机器学习
2022-12-29 v1 人工智能
机器学习
摘要
深度神经网络包含数百万可学习参数，使其在计算资源受限设备上的部署颇为困难。SeReNe（基于敏感性的神经元正则化）是一种利用神经元敏感性作为正则化项来学习具有结构稀疏拓扑的方法。我们将神经元的敏感性定义为网络输出相对于该神经元活动变化的变异程度。神经元敏感性越低，若其输出改变，网络输出所受扰动越小。通过将神经元敏感性作为正则化项纳入代价函数，我们得以剪枝低敏感性的神经元。由于剪枝的是整个神经元而非单个参数，实际网络 footprint 缩减成为可能。我们在多种网络架构与数据集上的实验结果，相对于SOTA参考方法取得了具有竞争力的压缩比。
引用
@article{arxiv.2102.03773,
title = {SeReNe: Sensitivity based Regularization of Neurons for Structured Sparsity in Neural Networks},
author = {Enzo Tartaglione and Andrea Bragagnolo and Francesco Odierna and Attilio Fiandrotti and Marco Grangetto},
journal= {arXiv preprint arXiv:2102.03773},
year = {2022}
}