迈向基于最优传输的元剪枝
计算机视觉与模式识别
2024-02-14 v2 机器学习
摘要
神经网络的结构性剪枝通常依赖于识别并丢弃较不重要的神经元，这种做法往往导致显著的精度损失，从而需要后续的微调工作。本文介绍了一种名为 Intra-Fusion 的新方法，挑战了这一主流的剪枝范式。与现有方法专注于设计有意义的神经元重要性指标不同，Intra-Fusion 重新定义了底层的剪枝过程。通过利用模型融合和最优传输（Optimal Transport）的概念，我们利用一个agnostic 给定的重要性指标，获得了更有效的稀疏模型表示。值得注意的是，我们的方法无需资源密集型的微调即可实现显著的精度恢复，使其成为神经网络压缩的一种高效且有前景的工具。此外，我们探讨了如何将融合添加到剪枝过程中，以在保持竞争性性能的同时显著减少训练时间。我们在 CIFAR-10、CIFAR-100 和 ImageNet 等常用数据集上对多种网络进行了基准测试。更广泛地说，我们希望所提出的 Intra-Fusion 方法能激发对主流压缩方法的替代方案的探索。我们的代码地址：https://github.com/alexandertheus/Intra-Fusion。
引用
@article{arxiv.2402.07839,
title = {Towards Meta-Pruning via Optimal Transport},
author = {Alexander Theus and Olin Geimer and Friedrich Wicke and Thomas Hofmann and Sotiris Anagnostidis and Sidak Pal Singh},
journal= {arXiv preprint arXiv:2402.07839},
year = {2024}
}
备注
Accepted as a Spotlight (top 5% of submissions) at the International Conference on Learning Representations (ICLR) 2024