利用梯度缩放符号方法用于神经模型解释
机器学习
2021-05-06 v4 人工智能
计算机视觉与模式识别
机器学习
摘要
基于可满足性模理论(SMT)求解器的符号技术已被提出用于分析和验证神经网络性质，但由于其在较大网络上的可扩展性较差，其使用一直相当有限。在这项工作中，我们提出了一种将基于梯度的方法与符号技术相结合以扩展此类分析的技术，并展示了其在模型解释中的应用。具体而言，我们将该技术应用于识别输入中与神经网络预测最相关的最小区域。我们的方法使用梯度信息(基于积分梯度)聚焦于第一层中的神经元子集，这使得我们的技术能够扩展到大型网络。相应的SMT约束对最小输入掩码发现问题进行编码，使得在掩码输入后，所选神经元的激活仍高于某一阈值。在求解最小掩码后，我们的方法对掩码区域进行评分，以生成掩码内特征的相对排序。这产生了一个显著图，解释了模型在做出预测时“在看哪里”。我们在三个数据集——MNIST、ImageNet和Beer Reviews上评估了我们的技术，并从定量和定性上证明，与单独的基于梯度的方法相比，我们的方法生成的区域更稀疏且获得更高的显著性分数。代码和示例位于——https://github.com/google-research/google-research/tree/master/smug_saliency
引用
@article{arxiv.2006.16322,
title = {Scaling Symbolic Methods using Gradients for Neural Model Explanation},
author = {Subham Sekhar Sahoo and Subhashini Venugopalan and Li Li and Rishabh Singh and Patrick Riley},
journal= {arXiv preprint arXiv:2006.16322},
year = {2021}
}