通过图像与文本分类研究显著性图的合理性检验
机器学习
2021-06-15 v1 人工智能
摘要
显著性图已被证明在解释模型预测方面既有用又具误导性，尤其是在图像背景下。在本文中，我们对文本模态进行合理性检验，并表明针对图像得出的结论不能直接迁移到文本。我们还使用相似性分数、最大敏感性和不忠实度评估指标分析了某些显著性图中输入乘数的影响。我们的观察揭示，输入乘数在解释图中携带输入的结构模式，从而导致无论模型参数如何选择都得到相似结果。我们还表明神经网络（NN）函数的平滑性会影响基于显著性的解释的质量。我们的研究揭示，用 Softplus 替换 ReLU 以及用更平滑的变体（如 LogSumExp（LSE））替换 MaxPool，可以基于不忠实度评估指标得到更可靠的解释。
引用
@article{arxiv.2106.07475,
title = {Investigating sanity checks for saliency maps with image and text classification},
author = {Narine Kokhlikyan and Vivek Miglani and Bilal Alsallakh and Miguel Martin and Orion Reblitz-Richardson},
journal= {arXiv preprint arXiv:2106.07475},
year = {2021}
}