基于FishLeg的高效模型压缩技术
机器学习
2024-12-04 v1
摘要
在许多领域，最成功的AI模型往往是最大的，事实上，这些模型往往太大，无法被计算资源有限的AI玩家所处理。为缓解这一问题，已开发出诸多压缩方法，包括将网络剪枝至高稀疏性并保持性能的方法。表现最好的剪枝技术往往是使用二阶曲率信息（如Fisher信息矩阵的估计）对每个权重进行重要性打分并预测权重删除的最佳补偿。然而，这些方法在不作出重量级近似的情况下难以扩展到高维参数空间。本文提出了FishLeg外科手术家（FLS），一种基于Fisher-Legendre（FishLeg）优化器的新型二阶剪枝方法。FishLeg的核心是一种元学习方法，用于对逆FIM的作用进行 amortization，这带来了诸多优势。首先，参数化使灵活的张量分解技术得以用于提高计算和内存效率，而不牺牲 much accuracy，缓解了大多数二阶剪枝方法可扩展性挑战的困境。其次，直接估计逆FIM可减少在invertion过程中对随机性放大性的敏感性，从而导致更精确的估计。第三ly，我们的方法还允许将曲率逐步纳入参数化。在渐进式剪枝期间，这会导致更有效的估计细化，而非重新估计。我们发现FishLeg在面对该领域的两种常见基准时，实现了更高或相当的性能，尤其是在考虑ResNet18模型在CIFAR-10上（84%稀疏度为95%时准确率 vs OBS的60%）以及TinyIM（80%稀疏度下53%准确率 vs OBS的48%）时，尤其在高稀疏性 regime中表现突出。
引用
@article{arxiv.2412.02328,
title = {Efficient Model Compression Techniques with FishLeg},
author = {Jamie McGowan and Wei Sheng Lai and Weibin Chen and Henry Aldridge and Jools Clarke and Jezabel Garcia and Rui Xia and Yilei Liang and Guillaume Hennequin and Alberto Bernacchia},
journal= {arXiv preprint arXiv:2412.02328},
year = {2024}
}
备注
Published in NeurIPS 2024 - Neural Compression Workshop, 13 pages, 6 figures