基于神经元的深度神经网络剪枝：利用 Kronecker 因子化曲率近似实现更优泛化
天体物理仪器与方法
2021-11-17 v1 高能物理 - 实验
摘要
现有的深度神经网络剪枝方法侧重于移除训练网络中不必要的参数，并在之后微调模型以找到恢复训练模型初始性能的较好解。与其他工作不同，我们的方法通过剪枝神经元，特别关注压缩模型解的质量与推理计算时间。所提算法通过探索 Hessian 的谱半径，将压缩模型的参数导向更平坦的解，从而在未见数据上获得更好的泛化能力。此外，该方法不基于预训练网络，而是同时执行训练与剪枝。我们的结果表明其在神经元压缩上改进了当前最优结果。该方法能够在不同神经网络模型上以较小的精度下降实现非常小的网络。
引用
@article{arxiv.2111.08576,
title = {Applications for Microwave Kinetic Induction Detectors in Advanced Instrumentation},
author = {Gerhard Ulbricht and Mario De Lucia and Eoin Baldwin},
journal= {arXiv preprint arXiv:2111.08576},
year = {2021}
}