AutoSculpt:基于强化学习和图学习的模式驱动模型自动剪枝框架
摘要
随着深度神经网络 (DNN) 在边缘设备上的部署日益增多,针对受限计算资源优化模型已成为关键。现有的自动剪枝方法面临由于 DNN 模型的多样性、各种算子(例如滤波器)以及在剪枝粒度与模型精度之间难以平衡等挑战。为解决这些限制,我们引入 AutoSculpt,这是一个基于模式的自动剪枝框架,旨在通过利用图学习和深度强化学习 (DRL) 来提高效率和精度。AutoSculpt 自动识别并剪枝 DNN 架构中可被现有推理引擎识别的规则模式,从而实现运行时加速。AutoSculpt 的三个关键步骤包括:(1) 将 DNN 构建为图以编码其拓扑和参数依赖关系、(2) 嵌入计算高效的剪枝模式、(3) 利用 DRL 不断细化自动剪枝策略,直到实现压缩率和精度之间的最佳平衡。实验结果表明,AutoSculpt 在各种架构上均有效,包括 ResNet、MobileNet、VGG 和 Vision Transformer,实现了最高可达 90% 的剪枝率,并在 FLOPs 减少方面几乎提高了 18%,优于所有基线方法。我们的代码可在 https://github.com/jlx15588/AutoSculpt 查看。
引用
@article{arxiv.2412.18091,
title = {AutoSculpt: A Pattern-based Model Auto-pruning Framework Using Reinforcement Learning and Graph Learning},
author = {Lixian Jing and Jianpeng Qi and Junyu Dong and Yanwei Yu},
journal= {arXiv preprint arXiv:2412.18091},
year = {2026}
}
备注
I have identified a significant and fundamental flaw in the methodology described in Section 3 of the manuscript. This flaw pertains to a critical error in the implementation of the model's training procedure, which renders the reported performance metrics unreliable. This issue is not correctable through an erratum or replacement as it undermines the core findings and validity of the entire study