学习精确性能预测器用于超快自动化模型压缩

本文提出一种称为SeerNet的超快自动化模型压缩框架，用于灵活的网络部署。传统的不可微方法基于穷举训练轻量模型得到的精度离散搜索期望的压缩策略，而现有的可微方法优化极大的超网以获得部署所需的压缩模型。二者均因复杂的压缩策略搜索与评估过程而产生沉重计算开销。相反，我们通过用精确性能预测器直接优化压缩策略来获得最优高效网络，从而在各种计算开销约束下实现超快自动化模型压缩，无需复杂的压缩策略搜索与评估。具体而言，我们首先基于由高效进化搜索主动选择的不确定压缩策略的精度训练性能预测器，从而以可接受代价提供信息丰富的监督来学习精确性能预测器。随后，我们利用在屏障复杂度约束下最大化预测性能的梯度，超快获取期望的压缩策略，其中采用带动量的自适应更新步长以增强所得剪枝与量化策略的最优性。与最先进的自动化模型压缩方法相比，在图像分类和目标检测上的实验结果表明，我们的方法以显著减少的搜索代价实现了具有竞争力的精度-复杂度权衡。