SequentialAttention++ 用于块稀疏化：可微剪枝遇见组合优化
机器学习
2025-02-12 v2
摘要
神经网络剪枝是构建大型且可扩展、可解释和可泛化模型的关键技术。此前关于该主题的研究主要沿两个正交方向发展：(1) 可微剪枝，用于高效准确地评估参数重要性；(2) 组合优化，用于高效搜索稀疏模型空间。我们在理论和实证上统一了这两种方法，产生了一个结构化神经网络剪枝的连贯框架，其中可微剪枝指导组合优化算法选择最重要的稀疏参数集。理论上，我们展示了如何将许多现有的可微剪枝技术理解为群稀疏优化的非凸正则化，并证明对于一大类非凸正则化器，全局最优解是唯一的、群稀疏的，且可证明地 yielding 稀疏凸优化问题的近似解。我们提出的算法 SequentialAttention++ 在 ImageNet 和 Criteo 数据集上的大规模神经网络块级剪枝任务中推进了最先进水平。
引用
@article{arxiv.2402.17902,
title = {SequentialAttention++ for Block Sparsification: Differentiable Pruning Meets Combinatorial Optimization},
author = {Taisuke Yasuda and Kyriakos Axiotis and Gang Fu and MohammadHossein Bateni and Vahab Mirrokni},
journal= {arXiv preprint arXiv:2402.17902},
year = {2025}
}