模型理解问题了吗？

Pramod Kaushik Mudrakarta; Ankur Taly; Mukund Sundararajan; Kedar Dhamdhere

模型理解问题了吗？

计算与语言 2018-05-16 v1 人工智能

作者: Pramod Kaushik Mudrakarta , Ankur Taly , Mukund Sundararajan , Kedar Dhamdhere

摘要

我们分析了用于三项任务的最先进深度学习模型：(1)图像、(2)表格和(3)文本段落的问答。利用\emph{归因}（词重要性）的概念，我们发现这些深度网络常常忽略重要的提问词。利用此类行为，我们扰动问题以构造多种对抗样本。我们最强的攻击将视觉问答模型的准确率从 $61.1\%$ 降至 $19\%$ ，将表格问答模型的准确率从 $33.5\%$ 降至 $3.3\%$ 。此外，我们展示了归因如何强化Jia和Liang（2017）针对段落理解模型提出的攻击。我们的结果表明，归因可以补充标准的准确率度量，并助力模型性能研究。当模型准确却出于错误原因时，归因可揭示模型中错误的逻辑，表明测试数据存在不足。

关键词

深度学习模型问答归因对抗样本视觉问答表格问答

引用

@article{arxiv.1805.05492,
  title  = {Did the Model Understand the Question?},
  author = {Pramod Kaushik Mudrakarta and Ankur Taly and Mukund Sundararajan and Kedar Dhamdhere},
  journal= {arXiv preprint arXiv:1805.05492},
  year   = {2018}
}

备注

ACL 2018 long paper

模型理解问题了吗？

摘要

关键词

引用

备注

相关论文