基于模型等价性评估的前馈神经网络压缩修复

本文提出了一种基于两个神经网络等价性评估的压缩前馈神经网络（FNNs）修复方法。在该修复框架中，我们开发了一种新的神经网络等价性评估方法，用于计算两个神经网络之间的输出差异。该输出差异可以定量表征由压缩过程产生的输出差别。基于计算出的输出差异，修复方法首先为压缩后的网络初始化一个新的训练集，以缩小两个神经网络之间的差异并提升压缩网络的性能。随后，我们基于该训练集通过重新训练来修复压缩后的 FNN。我们将所开发的方法应用于 MNIST 数据集，以验证我们提出的修复方法的有效性和优势。