Hyperpruning：基于Lyapunov谱的递归神经网络高效修剪变体搜索

针对过参数化的递归神经网络(RNN)，已引入多种修剪方法以提高功耗和存储效率。这些进展催生了一种新范式，即“hyperpruning”，旨在为给定网络架构和应用场景识别最佳修剪策略。不同于常规超参数搜索——其中最佳配置的准确率保持不确定——在网络修剪语境中，稠密模型的准确率设定了稠密模型修剪后模型的准确率目标。因此，目标是发现能够达到或超越该既定准确率的修剪变体。然而，对修剪配置进行穷举搜索计算成本高昂且缺乏早期性能保证。为此，我们提出一种新颖的Lyapunov谱(LS)基于距离度量，使能够在训练前准确预测稠密网络与修剪网络之间的性能，从而实现早期比较。通过将该LS基于距离与标准超参数优化算法集成，我们引入一种高效的hyperpruning框架，称为LS-based Hyperpruning(LSH)。LSH通过常规方法依赖完整训练的搜索时间降低了一个数量级。实验在堆叠LSTM和RHN架构上使用Penn Treebank数据集，在AWD-LSTM-MoS上使用WikiText-2，表明在固定训练预算和目标修剪比例下，LSH始终能识别出优于损失基准选择的优越修剪模型。令人惊讶的是，这些修剪变体不仅优于损失基准所选模型，还超过了其稠密模型的性能。