LNPT：无标签网络剪枝与训练

训练前剪枝使神经网络能够部署于智能设备上。通过保留有利于泛化的权重，剪枝后的网络可在资源受限的智能设备上运行。一种普遍持有的观点是：初始化网络与完全训练网络之间权重范数的距离与泛化性能相关。然而，我们发现，在训练过程中该度量与泛化之间存在不一致性，这为提前在智能设备上确定剪枝结构带来了障碍。本文引入了学习差距（learning gap）的概念，并强调其与泛化之间存在精确的相关性。实验表明，以网络倒数第二层特征图形式呈现的学习差距与泛化性能的变化相吻合。我们提出了一种新颖的学习框架 LNPT，它使云端成熟网络能够为智能设备上基于无标签数据的网络剪枝与学习提供在线指导。我们的结果表明，该方法优于有监督训练。