显著图言语化:比较无模型方法与基于指令方法的特征重要性表示
计算与语言
2023-06-08 v3
摘要
显著图可通过识别重要的输入特征来解释神经模型的预测。它们难以被外行解读,尤其是对于具有众多特征的实例。为使它们更易理解,我们形式化了将显著图翻译为自然语言这一未被充分探索的任务,并比较了应对该方法两个关键挑战——言说什么与如何言说——的方法。在自动与人工评估设置中,利用文本分类任务的词元级归因,我们将两种新方法(基于搜索与基于指令的言语化)与传统的特征重要性表示(热力图可视化与抽取式理据)进行比较,衡量可模拟性、忠实性、有用性与易理解性。指令 GPT-3.5 生成显著图言语化产生了看似合理的解释,其中包含关联、抽象式摘要与常识推理,获得了迄今为止最高的人工评分,但它们未能忠实捕捉数值信息且对任务的解读不一致。相比之下,我们基于搜索的无模型言语化方法高效地完成模板化言语化,在设计上忠实,但在有用性与可模拟性上有所欠缺。我们的结果表明,相较于传统表示,显著图言语化使特征归因解释对人类更易理解且认知负担更小。
引用
@article{arxiv.2210.07222,
title = {Saliency Map Verbalization: Comparing Feature Importance Representations from Model-free and Instruction-based Methods},
author = {Nils Feldhus and Leonhard Hennig and Maximilian Dustin Nasert and Christopher Ebert and Robert Schwarzenberg and Sebastian Möller},
journal= {arXiv preprint arXiv:2210.07222},
year = {2023}
}
备注
ACL 2023 Workshop on Natural Language Reasoning and Structured Explanations (NLRSE)