互信息保持的神经网络剪枝
机器学习
2025-02-04 v2
摘要
剪枝已成为限制大型神经网络资源需求的主要方法。自彩票假说提出以来，研究者们主要关注初始化时或训练后的剪枝。然而，近期的理论发现表明，鲁棒剪枝模型的样本效率与剪枝掩码和模型训练数据集之间的互信息成正比，无论是在初始化时还是训练后。本文从这些结果出发，引入了一种适用于训练前或训练后的结构化激活剪枝技术——互信息保持剪枝（MIPP）。MIPP 的核心原则是选择节点时，要保留相邻层激活之间共享的互信息，进而保留数据与掩码之间的互信息。以这种方式处理剪枝问题，意味着我们可以证明存在一个函数，能够将剪枝后的上游层激活映射到下游层激活，这意味着模型具有可重训练性。我们证明，无论剪枝是在训练前还是训练后执行，MIPP 始终优于最先进的方法。
引用
@article{arxiv.2411.00147,
title = {Mutual Information Preserving Neural Network Pruning},
author = {Charles Westphal and Stephen Hailes and Mirco Musolesi},
journal= {arXiv preprint arXiv:2411.00147},
year = {2025}
}