基于微小数据集的实用网络加速

由于数据隐私问题，利用微小训练集加速网络已成为实践中的关键需求。以往方法主要采用滤波器级剪枝，在训练样本稀缺时加速网络。本文揭示，在此场景下丢弃模块（block）是一种根本上更优的方法。它在少样本设定下享有更高的加速比，并带来更好的延迟-精度表现。为选择丢弃哪些模块，我们提出一个新概念即可恢复性（recoverability），用以衡量恢复被压缩网络的难度。我们的可恢复性在选取待丢弃模块时高效且有效。最后，我们提出一种名为PRACTISE的算法，仅使用微小训练图像集来加速网络。PRACTISE以显著优势超越以往方法。对于22%的延迟降低，PRACTISE在ImageNet-1k上平均超越以往方法7%。它还具备高度泛化能力，在无数据或域外数据设定下同样表现良好。我们的代码见https://github.com/DoctorKey/Practise。