从组合式神经网络获得忠实解释
计算与语言
2020-09-09 v2 人工智能
计算机视觉与模式识别
机器学习
摘要
神经模块网络（NMNs）是建模组合性的一种流行方法：当应用于语言和视觉问题时，它们能达到很高的准确率，同时在网络架构中反映问题的组合结构。然而，先前的工作隐含地假设描述抽象推理过程的网络模块结构提供了对模型推理的忠实解释；即所有模块都执行其预期行为。在这项工作中，我们提出并对 NMNs 在 NLVR2 和 DROP 两个需要组合多个推理步骤的数据集上的中间输出进行了系统评估。我们发现中间输出与预期输出不同，说明网络结构并未提供对模型行为的忠实解释。为补救这一点，我们使用辅助监督训练模型，并提出了特定的模块架构选择，以最小的准确率代价大幅提升了忠实性。
引用
@article{arxiv.2005.00724,
title = {Obtaining Faithful Interpretations from Compositional Neural Networks},
author = {Sanjay Subramanian and Ben Bogin and Nitish Gupta and Tomer Wolfson and Sameer Singh and Jonathan Berant and Matt Gardner},
journal= {arXiv preprint arXiv:2005.00724},
year = {2020}
}
备注
ACL 2020; first three authors contributed equally