ECQ$^{\text{x}}$：面向低比特稀疏深度神经网络的可解释性驱动量化
机器学习
2024-06-07 v2 人工智能
摘要
深度神经网络 (DNN) 在各种应用中取得的显著成功伴随着网络参数和算术运算量的显著增加。这种内存和计算需求的增加使得深度学习在资源受限的硬件平台（如移动设备）上难以应用。近期的努力旨在减少这些开销，同时尽可能保持模型性能，包括参数缩减技术、参数量化和无损压缩技术。在本章中，我们开发并描述了一种新颖的 DNN 量化范式：我们的方法利用了可解释人工智能 (XAI) 的概念和信息论的概念：权重分配函数不再仅仅基于权重到量化簇的距离，而是额外考虑了由逐层相关性传播 (LRP) 获得的权重相关性以及簇的信息内容（熵优化）。最终目标是保留信息内容最高的量化簇中最相关的权重。实验结果表明，这种新颖的熵约束与 XAI 调整量化 (ECQ) 方法能够生成超低精度（2-5 比特）且同时稀疏的神经网络，同时保持甚至提升模型性能。由于参数精度降低和大量零元素的存在，生成的网络在文件大小方面具有高度可压缩性，与全精度未量化的 DNN 模型相比，压缩率高达 。我们的方法在不同类型的模型和数据集（包括 Google Speech Commands、CIFAR-10 和 Pascal VOC）上进行了评估，并与先前的工作进行了比较。
引用
@article{arxiv.2109.04236,
title = {ECQ$^{\text{x}}$: Explainability-Driven Quantization for Low-Bit and Sparse DNNs},
author = {Daniel Becking and Maximilian Dreyer and Wojciech Samek and Karsten Müller and Sebastian Lapuschkin},
journal= {arXiv preprint arXiv:2109.04236},
year = {2024}
}
备注
22 pages, 10 figures, 1 table