CAMP-HiVe：基于循环对合并的高效DNN剪枝，结合Hessian-向量近似用于资源受限系统
机器学习
2025-11-11 v1 计算机视觉与模式识别
摘要
深度学习算法正成为许多人工智能驱动应用的关键组成部分，但这些应用往往运行在资源受限和能源受限的系统上。为了高效部署这些算法，虽然提出了各种模型压缩技术，但神经网络剪枝是最快且最有效的方法之一，可在低成本下实现高压缩比。为了充分利用模型复杂度带来的性能提升，我们提出一种新型神经网络剪枝方法，利用Hessian-向量乘积近似捕获损失函数中关键曲率信息，从而显著降低计算需求。通过采用幂迭代方法，我们的算法有效识别并保留关键信息，确保模型准确率和计算效率之间实现平衡。我们引入CAMP-HiVe，即一种基于循环对合并的剪枝方法，结合Hessian向量近似，通过迭代整合权重对（将重要权重与次要权重组合），有效地在保留模型性能的同时简化模型。该动态、自适应的框架允许实时调整权重重要性，确保仅保留最关键的参数。我们的实验结果表明，所提方法在不同神经网络架构（如ResNet18、ResNet56和MobileNetv2）上，在标准基准数据集（如CIFAR10、CIFAR-100和ImageNet）上实现了显著的计算需求降低，同时保持高性能，并优于现有的领先神经网络剪枝方法。
引用
@article{arxiv.2511.06265,
title = {CAMP-HiVe: Cyclic Pair Merging based Efficient DNN Pruning with Hessian-Vector Approximation for Resource-Constrained Systems},
author = {Mohammad Helal Uddin and Sai Krishna Ghanta and Liam Seymour and Sabur Baidya},
journal= {arXiv preprint arXiv:2511.06265},
year = {2025}
}