基于损失的敏感度正则化（LOBSTER）：迈向深度稀疏神经网络
机器学习
2022-12-29 v1
摘要
LOBSTER（LOss-Based SensiTivity rEgulaRization，基于损失的敏感度正则化）是一种训练具有稀疏拓扑结构神经网络的方法。令网络参数的敏感度定义为损失函数相对于该参数变化的变动量。低敏感度参数，即受扰动时对损失影响甚微的参数，被收缩继而剪枝以稀疏化网络。我们的方法允许从零开始训练网络，即无需预训练或回绕。在多种架构与数据集上的实验显示出具有竞争力的压缩比与最小的计算开销。
引用
@article{arxiv.2011.09905,
title = {LOss-Based SensiTivity rEgulaRization: towards deep sparse neural networks},
author = {Enzo Tartaglione and Andrea Bragagnolo and Attilio Fiandrotti and Marco Grangetto},
journal= {arXiv preprint arXiv:2011.09905},
year = {2022}
}