基于神经网络剪枝的超参数优化

由于深度学习模型高度依赖于超参数，超参数优化在开发基于深度学习模型的应用中至关重要，即便其耗时漫长。随着使用深度学习模型的服务开发逐渐变得具竞争性，许多开发者高度需求快速的超参数优化算法。为跟上更快超参数优化算法的需求，研究者正聚焦于提升超参数优化算法的速度。然而，由深度学习模型本身高计算成本导致的超参数优化巨大时间消耗尚未被深入探讨。如同在贝叶斯优化中使用代理模型，为解决此问题，有必要考虑用于超参数优化的神经网络（N_B）的代理模型。受神经网络剪枝的主要目标——即大幅降低计算成本并保持性能——的启发，我们假定通过神经网络剪枝获得的神经网络（N_P）将是N_B的良好代理模型。为验证我们的想法，我们使用CIFAR10、CFIAR100和TinyImageNet数据集以及三种常用神经网络和三种代表性超参数优化方法进行了大量实验。通过这些实验，我们验证了N_P可作为N_B用于快速超参数优化的良好代理模型。所提出的超参数优化框架最多可减少37%的时间量。