迭代最优脑外科医生：利用二阶信息实现更快的稀疏恢复
机器学习
2024-09-02 v1
摘要
机器学习不断增长的影响范围促使人们关注施加模型稀疏性作为降低计算和内存成本的手段。对于深度神经网络 (DNNs)，最先进的准确率与稀疏性权衡是由受经典最优脑外科医生 (OBS) 框架启发的启发式方法实现的，该方法利用损失曲率信息做出更好的剪枝决策。然而，这些结果仍然缺乏坚实的理论理解，并且尚不清楚是否可以通过利用与大量稀疏恢复算法工作的联系来改进它们。在本文中，我们在这两个领域之间建立了新的联系，并提出了受 OBS 框架启发的新型稀疏恢复算法，该算法在合理的假设下具有理论保证，并具有强大的实际性能。具体而言，我们的工作始于这样一个观察：我们可以在经典迭代稀疏恢复算法（如 IHT）的投影步骤中以类似 OBS 的方式利用曲率信息。我们首次证明，这在标准假设下也能带来改进的收敛界限。此外，我们将这种方法扩展到获取精确稀疏 DNN 的实际任务中，并在大规模实验中针对基于 Transformer 的模型在视觉和语言任务上进行了验证。
引用
@article{arxiv.2408.17163,
title = {The Iterative Optimal Brain Surgeon: Faster Sparse Recovery by Leveraging Second-Order Information},
author = {Diyuan Wu and Ionut-Vlad Modoranu and Mher Safaryan and Denis Kuznedelev and Dan Alistarh},
journal= {arXiv preprint arXiv:2408.17163},
year = {2024}
}