面向基于阅读理解的问答的 BERT 解释研究
计算与语言
2020-10-20 v1 人工智能
摘要
BERT 及其变体在各种 NLP 任务中取得了最先进的性能。此后，人们提出了各种工作来分析 BERT 中捕获的语言信息。然而，当前的工作未能揭示 BERT 如何能够在基于阅读理解的问答（RCQA）任务上达到接近人类水平的性能。在这项工作中，我们试图解释 BERT 在 RCQA 中的表现。由于 BERT 各层没有预定义角色，我们使用积分梯度（Integrated Gradients）来定义层的角色或功能。基于所定义的角色，我们对所有层进行了初步分析。我们观察到初始层关注查询-段落交互，而后续层更关注上下文理解并增强答案预测。特别是对于数量词问题（多少/多少个），我们注意到 BERT 在后续层关注混淆词（即段落中其他数值量），但仍能正确预测答案。微调和分析脚本将公开于 https://github.com/iitmnlp/BERT-Analysis-RCQA 。
引用
@article{arxiv.2010.08983,
title = {Towards Interpreting BERT for Reading Comprehension Based QA},
author = {Sahana Ramnath and Preksha Nema and Deep Sahni and Mitesh M. Khapra},
journal= {arXiv preprint arXiv:2010.08983},
year = {2020}
}
备注
7 pages including references and appendix. Accepted at EMNLP 2020