最优脑消亡
计算机视觉与模式识别
2025-03-04 v2 人工智能
机器学习
摘要
卷积神经网络（CNN）和Transformer的复杂度和参数数量不断增加，带来了计算效率和资源需求的挑战。剪枝被识别为有效策略，通过移除如神经元、通道或连接等冗余元素，从而在不大幅牺牲性能的情况下提升计算效率。本文基于最优脑损伤（OBD）的基础工作，进一步发展了参数重要性估计方法，采用Hessian矩阵。不同于以往依赖近似的做法，我们提出了最优脑消亡（OBA），一种新型剪枝方法，直接计算每个参数的Hessian-向量乘积值。通过在网络层之间分解Hessian矩阵，并识别跨层Hessian子矩阵为非零的条件，我们提出了一种高效计算参数二阶Taylor展开的技术。该方法在CNN和Transformer的剪枝过程中更为精确，其在VGG19、ResNet32、ResNet50和ViT-B/16在CIFAR10、CIFAR100和Imagenet数据集上的实验验证了这一点。我们的代码已公开于https://github.com/NEU-REAL/OBA。
引用
@article{arxiv.2502.17941,
title = {Optimal Brain Apoptosis},
author = {Mingyuan Sun and Zheng Fang and Jiaxu Wang and Junjie Jiang and Delei Kong and Chenming Hu and Yuetong Fang and Renjing Xu},
journal= {arXiv preprint arXiv:2502.17941},
year = {2025}
}
备注
Accepted to ICLR 2025