中文

SIDU-TXT:一种具有整体评估方法的 NLP 可解释人工智能算法

计算与语言 2024-02-06 v1 机器学习

摘要

可解释人工智能(XAI)有助于解读“黑盒”模型。虽然已有多种方法主要在图像领域被提出和评估,但文本领域的可解释性探索仍是一个不断增长的研究领域。在本文中,我们深入探讨了 XAI 方法在文本领域的适用性。在此背景下,我们将“相似度差异与独特性”(SIDU)XAI 方法扩展至文本数据,该方法因其在基于图像的分类中定位整个显著区域的卓越能力而闻名。扩展后的方法 SIDU-TXT 利用来自“黑盒”模型的特征激活图,在细粒度的单词级别生成热力图,从而提供突出显示对模型预测至关重要的上下文显著文本元素的解释。鉴于缺乏评估 XAI 方法的统一标准,本研究应用了一个整体的三层综合评估框架:功能基础、人类基础和应用基础,以在各种实验中评估所提出的 SIDU-TXT 的有效性。我们发现,在电影评论数据集的情感分析任务中,SIDU-TXT 在功能基础和人类基础评估中均表现出色,通过与 Grad-CAM 和 LIME 等基准的定量和定性分析比较,展示了其优越的性能。在庇护决策这一敏感且复杂的法律领域的应用基础评估中,SIDU-TXT 和 Grad-CAM 表现出相当的性能,各有优缺点。然而,这两种方法都未能完全满足专家期望的复杂标准,突显了针对此类领域适用的 XAI 方法进行额外研究的迫切需求。

关键词

引用

@article{arxiv.2402.03043,
  title  = {SIDU-TXT: An XAI Algorithm for NLP with a Holistic Assessment Approach},
  author = {Mohammad N. S. Jahromi and Satya. M. Muddamsetty and Asta Sofie Stage Jarlner and Anna Murphy Høgenhaug and Thomas Gammeltoft-Hansen and Thomas B. Moeslund},
  journal= {arXiv preprint arXiv:2402.03043},
  year   = {2024}
}

备注

Preprint submitted to Elsevier on Jan 5th, 2024