利用可解释人工智能压缩深度神经网络
机器学习
2025-07-09 v1 人工智能
摘要
深度神经网络(DNNs)在众多任务中展现出卓越性能,但其计算成本与内存占用往往较高。剪枝与量化等压缩技术被用于缩减 DNN 的内存占用,使其能够部署于资源受限的边缘设备。近年来,可解释人工智能(XAI)方法被引入,旨在理解与解释 AI 方法。XAI 可用于揭示 DNN 的内部工作机制,例如不同神经元与特征在 DNN 整体性能中的重要性。本文提出一种基于 XAI 的新型 DNN 压缩方法,能够在几乎不损失准确率的前提下高效缩减 DNN 模型规模。在所提方法中,DNN 参数(即权重)的重要性分数通过一种基于梯度的 XAI 技术——逐层相关性传播(LRP)计算得出。随后,这些分数被用于按如下方式压缩 DNN:1) 重要性分数为零或负的参数被剪枝并从模型中移除;2) 采用混合精度量化,对重要性分数较高/较低的权重分别使用较多/较少的比特数进行量化。实验结果表明,相较于当前最先进的基于 XAI 的压缩方法,所提压缩方法在将模型规模缩减 64% 的同时,准确率反而提升了 42%。
引用
@article{arxiv.2507.05286,
title = {Compressing Deep Neural Networks Using Explainable AI},
author = {Kimia Soroush and Mohsen Raji and Behnam Ghavami},
journal= {arXiv preprint arXiv:2507.05286},
year = {2025}
}