决策如何在神经模型的各层中浮现？基于可微掩码的解释
计算与语言
2021-03-03 v3 机器学习
摘要
归因方法评估输入对模型预测的贡献。一种做法是擦除：若输入的子集可在不影响预测的情况下被移除，则被视为无关。尽管概念简单，擦除的目标函数难以处理，且对现代深度 NLP 模型而言近似搜索仍代价高昂。擦除还易受后见之明偏差影响：某输入可被丢弃的事实并不意味着模型“知道”其可被丢弃。由此产生的剪枝过于激进，且不能反映模型如何得出预测。为应对这些挑战，我们引入可微掩码（Differentiable Masking）。DiffMask 学习掩去输入子集同时保持可微性。包含或忽略某输入词元的决定由一个基于被分析模型中间隐藏层的简单模型做出。首先，这使方法高效，因为我们是预测而非搜索。其次，如同探测分类器，这揭示了网络在相应层“知道”什么。这使我们不仅能绘制归因热力图，还能分析决策如何跨网络层形成。我们使用 DiffMask 研究 BERT 模型在情感分类与问答上的表现。
引用
@article{arxiv.2004.14992,
title = {How do Decisions Emerge across Layers in Neural Models? Interpretation with Differentiable Masking},
author = {Nicola De Cao and Michael Schlichtkrull and Wilker Aziz and Ivan Titov},
journal= {arXiv preprint arXiv:2004.14992},
year = {2021}
}
备注
Accepted at the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP). Source code available at https://github.com/nicola-decao/diffmask . 18 pages, 15 figures, 4 tables