归因掩码：通过递归聚焦深度神经网络输入以过滤无关特征
机器学习
2021-02-16 v1 人工智能
摘要
归因方法通过计算归因来直观解释深度神经网络（DNNs）的预测，即高亮输入特征中的重要部分。其中，基于梯度的归因（GBA）方法因可通过自动微分轻松实现而被广泛使用。在本研究中，我们利用归因过滤掉输入特征中的无关部分，随后通过测量预训练DNN的分类准确率来验证该方法的有效性。具体做法是计算并将\textit{归因掩码}应用于输入特征，继而将掩码后的特征送入DNN，该掩码旨在递归地聚焦于与目标标签相关的输入部分。在特定条件即\textit{无隐式偏置}下准确率得以提升，该条件可基于我们将DNN压缩为单层神经网络的理论洞察导出。我们还提出Gradient\,*\,Sign-of-Input（GxSI）以获得进一步提升准确率的归因掩码。作为示例，在经GxSI所得归因掩码修改的CIFAR-10上，无需额外训练即达到99.8\%至99.9\%的准确率。
引用
@article{arxiv.2102.07332,
title = {Attribution Mask: Filtering Out Irrelevant Features By Recursively Focusing Attention on Inputs of DNNs},
author = {Jae-Hong Lee and Joon-Hyuk Chang},
journal= {arXiv preprint arXiv:2102.07332},
year = {2021}
}