QNNRepair：量化神经网络修复
机器学习
2023-09-12 v3 神经与进化计算
摘要
我们提出QNNRepair，这是文献中首个用于修复量化神经网络（QNNs）的方法。QNNRepair旨在提升神经网络模型在量化后的准确率。它接收全精度和权重量化后的神经网络，以及一个由通过和未通过测试组成的修复数据集。首先，QNNRepair应用软件故障定位方法识别在神经网络量化过程中导致性能退化的神经元。然后，它将修复问题表述为求解神经元权重参数的线性规划问题，从而在未通过测试上纠正QNN的性能，同时不损害其在通过测试上的性能。我们使用广泛使用的神经网络架构（如MobileNetV2、ResNet和VGGNet）在包括高分辨率图像在内的流行数据集上评估QNNRepair。我们还将QNNRepair与最先进的无数据量化方法SQuant进行比较。根据实验结果，我们得出结论：QNNRepair在大多数情况下能有效提升量化模型的性能。其修复后的模型在独立验证集上的准确率比SQuant高24%，尤其是在ImageNet数据集上。
引用
@article{arxiv.2306.13793,
title = {QNNRepair: Quantized Neural Network Repair},
author = {Xidan Song and Youcheng Sun and Mustafa A. Mustafa and Lucas C. Cordeiro},
journal= {arXiv preprint arXiv:2306.13793},
year = {2023}
}