基于聚类的树状结构Parzen估计的深度学习网络敏感度感知混合精度量化与宽度优化
机器学习
2024-08-12 v3 人工智能
神经与进化计算
机器学习
摘要
随着深度学习模型复杂度和计算需求的增长，对神经网络设计进行有效优化方法的需求变得至关重要。本工作引入了一种创新的搜索机制，用于自动为各个神经网络层选择最佳位宽和层宽度。这显著提升了深度神经网络的效率。通过利用基于Hessian的剪枝策略性地缩减搜索空间，确保移除非关键参数。随后，我们详述了通过使用基于聚类的树状结构Parzen估计器（cluster-based tree-structured Parzen estimator）来构建有利与不利结果的代理模型。该策略使得架构可能性的探索得以精简，并快速定位性能最优的设计。通过在知名数据集上的严格测试，我们的方法证明了相对于现有方法的明显优势。与领先的压缩策略相比，我们的方法在精度不损的前提下实现了令人印象深刻的模型尺寸20%的缩减。此外，相对于当前可用的最佳以搜索为中心的策略，我们的方法在搜索时间上实现了12倍的缩减。因此，我们提出的方法代表了神经网络设计优化的一次飞跃，为在资源受限环境下的快速模型设计与部署铺平了道路，从而推进了可扩展深度学习解决方案的潜力。
引用
@article{arxiv.2308.06422,
title = {Sensitivity-Aware Mixed-Precision Quantization and Width Optimization of Deep Neural Networks Through Cluster-Based Tree-Structured Parzen Estimation},
author = {Seyedarmin Azizi and Mahdi Nazemi and Arash Fayyazi and Massoud Pedram},
journal= {arXiv preprint arXiv:2308.06422},
year = {2024}
}