人们对基于显著性的文本解释的理解

尽管可解释 AI 的许多研究聚焦于生成有效的解释，但较少有工作致力于人们如何理解与解读这些解释的问题。在本工作中，我们通过对文本数据上基于显著性的解释的研究来关注这一问题。文本模型的特征归因解释旨在传达输入文本的哪些部分相对于模型决策比其他部分更具影响力。许多当前的解释方法，如基于梯度或基于 Shapley 值的方法，提供了在数学上被充分理解的重要性度量。但接收解释的人（被解释者）是如何理解它的？他们的理解是否与解释试图传达的内容一致？我们实证地考察了输入、特征归因解释以及可视化过程的各种因素对门外汉解读该解释的影响。我们向众包工作者询问其在英语和德语任务上的解读，并针对感兴趣的因素拟合了一个 GAMM 模型到他们的响应中。我们发现人们经常误解解释：表面且无关的因素，如词长，尽管解释直接传达了重要性，仍会影响被解释者的重要性赋值。随后我们表明这种失真的一部分可以被削弱：我们提出一种基于模型对过度感知与欠感知的估计来调整显著性的方法，并探索以条形图作为热力图显著性可视化的替代方案。我们发现两种方法均能削弱特定因素的失真效应，从而带来对解释更好的校准理解。