基于交叉蒸馏的少样本网络压缩

模型压缩已被广泛采用以获得轻量化深度神经网络。然而，大多数主流方法需要以充足训练数据进行微调以保证精度，这可能受到隐私与安全问题的挑战。作为隐私与性能之间的折中，本文研究少样本网络压缩：在每类仅有少量样本的情况下，如何有效压缩网络且性能下降可忽略？少样本网络压缩的核心挑战在于原网络在推理时估计误差高，因为压缩网络易在少量训练实例上过拟合。估计误差会逐层传播并累积，最终恶化网络输出。为解决该问题，我们提出交叉蒸馏，一种新颖的逐层知识蒸馏方法。通过交织教师网络与学生网络的隐藏层，逐层累积的估计误差可被有效降低。所提方法提供了一个与剪枝等主流网络压缩技术兼容的通用框架。在基准数据集上的大量实验表明，当仅有少量训练实例可用时，交叉蒸馏能显著提升学生网络的精度。