深度神经网络分类任务的量化可解释学习方案
机器学习
2024-12-06 v1 计算机视觉与模式识别
摘要
深度学习技术在图像分类中表现出极高效力，但由于计算需求高，仍面临在资源受限环境中的部署挑战。此外，可解释性也高度重要，这需要更多可用的资源。本文引入一种方法，结合灵敏度引导训练与量化技术，创建无需牺牲准确性即可的可解释且资源高效模型。我们采用参数化裁剪激活(PACT)进行量化感知训练，特别针对激活和权重进行精度优化，同时最小化资源使用。同时，采用灵敏度引导训练以增强可解释性，通过迭代遮蔽低梯度值的特征，生成更聚焦且有意义的灵敏度图。该训练程序有助于减缓噪声梯度，使模型能提供更清晰、更可解释的决策洞察。为评估本方法的影响，我们在著名的卷积神经网络(CNN)架构上进行实验，使用MNIST和CIFAR-10这两个流行数据集。我们比较了标准模型和量化模型生成的灵敏度图，以评估量化对可解释性和分类准确性的影响。我们的结果表明，灵敏度引导训练与PACT基准量化的结合使用，不仅保持了分类性能，还产生了显著更高效、更可解释的模型，适用于资源受限的部署场景。
引用
@article{arxiv.2412.03915,
title = {Quantized and Interpretable Learning Scheme for Deep Neural Networks in Classification Task},
author = {Alireza Maleki and Mahsa Lavaei and Mohsen Bagheritabar and Salar Beigzad and Zahra Abadi},
journal= {arXiv preprint arXiv:2412.03915},
year = {2024}
}