AutoMC：基于领域知识和渐进式搜索策略的自动化模型压缩
机器学习
2024-07-25 v1 人工智能
计算机视觉与模式识别
摘要
模型压缩方法可以在保持可接受性能的前提下降低模型复杂度，从而促进深度神经网络在资源受限环境中的应用。尽管取得了巨大成功，但选择合适的压缩方法和设计压缩方案的细节是困难的，需要大量的领域知识作为支撑，这对非专业用户并不友好。为了让更多用户能够轻松获得最符合其需求的模型压缩方案，我们在本文中提出了 AutoMC，一种有效的自动化模型压缩工具。AutoMC 构建了模型压缩的领域知识，以深入理解每种压缩方法在不同设置下的特点和优势。此外，它提出了一种渐进式搜索策略，根据学习到的先验知识结合历史评估信息，高效地探索帕累托最优压缩方案。大量的实验结果表明，AutoMC 能在短时间内提供令人满意的压缩方案，证明了 AutoMC 的有效性。
引用
@article{arxiv.2201.09884,
title = {AutoMC: Automated Model Compression based on Domain Knowledge and Progressive search strategy},
author = {Chunnan Wang and Hongzhi Wang and Xiangyu Shi},
journal= {arXiv preprint arXiv:2201.09884},
year = {2024}
}