MPruner：基于 CKA 互信息剪枝优化神经网络规模
机器学习
2024-09-04 v2 人工智能
摘要
确定神经网络的最优规模至关重要，因为它直接影响运行时性能和内存使用。剪枝是一种已建立的模型压缩技术，可在保证准确性的前提下减少神经网络规模。然而，许多近期剪枝方法忽略了单个模型组件的全局贡献，难以确保修剪后的模型满足所需的数据集和性能要求。为解决这些挑战，我们开发了一种新的剪枝算法 MPruner，利用互信息通过向量相似度实现。MPruner 采用基于中心核对齐 (CKA) 相似度度量的图层聚类，允许我们从神经网络中Incorporate全局信息，以实现更精确和高效的图层级剪枝。我们在 various architectures and configurations中评估了 MPruner，展示了其灵活性并提供了实用指南。MPruner 对于 CNN 和基于 Transformer 的模型，实现了参数和内存使用量最高可降低 50%，且在准确性方面几乎没有损失。
引用
@article{arxiv.2408.13482,
title = {MPruner: Optimizing Neural Network Size with CKA-Based Mutual Information Pruning},
author = {Seungbeom Hu and ChanJun Park and Andrew Ferraiuolo and Sang-Ki Ko and Jinwoo Kim and Haein Song and Jieung Kim},
journal= {arXiv preprint arXiv:2408.13482},
year = {2024}
}