针对机器阅读理解模型的多语言多方面可解释性分析

Yiming Cui; Wei-Nan Zhang; Wanxiang Che; Ting Liu; Zhigang Chen; Shijin Wang

doi:10.1016/j.isci.2022.104176

针对机器阅读理解模型的多语言多方面可解释性分析

计算与语言 2024-10-29 v3 人工智能

作者: Yiming Cui , Wei-Nan Zhang , Wanxiang Che , Ting Liu , Zhigang Chen , Shijin Wang

在 arXiv 上查看 ↗ PDF ↗ DOI ↗

摘要

在强大的预训练语言模型(PLM)的帮助下,在某些机器阅读理解(MRC)数据集上达到人类水平已不再困难。然而,这些人工制品的内部机制仍不清楚,为进一步理解这些模型设置了障碍。本文专注于进行一系列分析实验,以检验多头自注意力与 MRC 系统最终性能之间的关系,揭示了基于 PLM 的 MRC 模型中潜在的可解释性。为确保分析的稳健性,我们在多种 PLM 的基础上以多语言方式开展实验。我们发现,篇章到问题和篇章理解的注意力在问答过程中最为重要,与其他部分相比表现出与最终性能更强的相关性。通过全面的可视化和案例研究,我们还观察到了关于注意力图的若干一般性发现,这些发现有助于理解这些模型如何解决问题。

关键词

机器阅读理解可解释性预训练语言模型多头自注意力多语言分析

引用

@article{arxiv.2108.11574,
  title  = {Multilingual Multi-Aspect Explainability Analyses on Machine Reading Comprehension Models},
  author = {Yiming Cui and Wei-Nan Zhang and Wanxiang Che and Ting Liu and Zhigang Chen and Shijin Wang},
  journal= {arXiv preprint arXiv:2108.11574},
  year   = {2024}
}

备注

15 pages

针对机器阅读理解模型的多语言多方面可解释性分析

摘要

关键词

引用

备注

相关论文