通过学习方法词组分掩码解释句子对上的神经网络预测
计算与语言
2021-04-14 v2
摘要
解释神经网络模型对于提升其在真实应用中的可信度十分重要。大多数现有方法通过识别个体特征归因或检测相邻特征间交互，为神经网络模型生成事后解释。然而，对于以文本对作为输入的模型（例如释义识别），现有方法不足以捕捉两文本间的特征交互，且其简单扩展为计算两文本间所有词对交互的方式在计算上效率低下。本工作中，我们提出分组掩码（GMASK）方法，通过将输入文本对中相关词分组在一起来隐式检测词相关性，并将它们作为整体对相应 NLP 任务的贡献进行度量。所提方法在两种不同模型架构（可分解注意力模型与 BERT）上跨四个数据集进行了评估，包括自然语言推理与释义识别任务。实验显示了 GMASK 在为这些模型提供忠实解释方面的有效性。
引用
@article{arxiv.2104.04488,
title = {Explaining Neural Network Predictions on Sentence Pairs via Learning Word-Group Masks},
author = {Hanjie Chen and Song Feng and Jatin Ganhotra and Hui Wan and Chulaka Gunasekara and Sachindra Joshi and Yangfeng Ji},
journal= {arXiv preprint arXiv:2104.04488},
year = {2021}
}
备注
NAACL-HLT 2021