神经网络的显著性辅助量化
计算机视觉与模式识别
2024-11-12 v1 机器学习
摘要
深度学习方法在图像分类中已占据重要地位。虽然先前研究专注于提升最终结果，但这些模型决策过程的不透明性仍然是专家们关注的焦点。此外，这些方法在资源受限环境中的部署可能存在问题。本文通过提供训练阶段的实时解释，迫使模型聚焦于输入中最具区分性和关键性的方面，从而应对这些模型固有的黑箱特性。此外，我们采用成熟的量化技术来应对资源限制。为评估方法的有效性，我们通过对比标准模型与量化模型的显著性图，探索量化如何影响卷积神经网络的可解释性与准确性。量化在训练阶段采用参数化裁剪激活(Parameterized Clipping Activation)方法实现，重点关注MNIST和FashionMNIST基准数据集。我们评估了三种位宽配置（2位、4位以及混合4/2位），以探索效率与可解释性之间的权衡，每种配置旨在突出对显著性图清晰度和模型准确性的不同影响。结果表明，虽然量化对于在资源受限设备上实现模型至关重要，但它需要在准确性与可解释性之间做出权衡。低位宽导致这两项指标出现更显著的下降，凸显了在模型透明度至关重要的应用中谨慎选择量化参数的必要性。本研究强调了在神经网络部署中实现效率与可解释性之间平衡的重要性。
引用
@article{arxiv.2411.05858,
title = {Saliency Assisted Quantization for Neural Networks},
author = {Elmira Mousa Rezabeyk and Salar Beigzad and Yasin Hamzavi and Mohsen Bagheritabar and Seyedeh Sogol Mirikhoozani},
journal= {arXiv preprint arXiv:2411.05858},
year = {2024}
}