基于 DeepSHAP 的神经检索模型可解释性研究
信息检索
2019-07-16 v1 机器学习
摘要
信息检索(IR)近期的一个趋势是使用神经网络学习用于基于文本的即席搜索的检索模型。尽管各种方法与架构已显著优于 BM25 等传统检索模型,但仍难以确切理解为何某文档与某查询相关。在机器学习(ML)界,已提出若干解释深度神经网络决策的方法——包括 DeepSHAP,其改进 DeepLift 算法,通过比较给定图像在网络中的激活与参考输入引起的激活,来估计给定决策中输入特征的相对重要性(Shapley 值)。在图像分类中,参考输入往往是一张纯黑图像。尽管 DeepSHAP 在图像分类任务中已被充分研究,但如何将其适配以解释神经检索模型(NRMs)的输出仍有待观察。具体而言,在 IR 语境中什么是好的“黑色”图像?本文探讨了多种参考输入文档构建技术。此外,我们将 DeepSHAP 生成的解释与 LIME(一种模型无关方法)进行比较,发现二者差异显著。我们的研究引发了对 NRM 解释鲁棒性与准确性的担忧。本文旨在阐明 NRM 可解释性周围有趣的问题并指出未来工作方向。
引用
@article{arxiv.1907.06484,
title = {A study on the Interpretability of Neural Retrieval Models using DeepSHAP},
author = {Zeon Trevor Fernando and Jaspreet Singh and Avishek Anand},
journal= {arXiv preprint arXiv:1907.06484},
year = {2019}
}
备注
4 pages; SIGIR 2019 Short Paper