GAProtoNet:基于多头图注意力的可解释文本分类原型网络
计算与语言
2024-12-23 v2 人工智能
摘要
基于预训练变换器语言模型(LM)的模型因其强大的词嵌入能力在文本分类任务中取得显著提升,但其黑箱特性导致可解释性问题。本文引入GAProtoNet,一种 novel 的白盒多头图注意力原型网络,旨在解释基于LM编码器构建的文本分类模型的决策。在我们的方法中,将输入向量和原型视为图中的节点,并利用多头图注意力有选择地构建输入节点与原型节点之间的边,以学习可解释的原型表示。推理时,模型依据为每个原型分配的注意力得分对激活原型的加权线性组合进行决策,从而允许其选择透明地通过注意力权重和投影到最近匹配训练示例的原型来解释。多组公开数据集的实验表明,该方法在不损失原始黑箱LM准确性的前提下取得优异结果。我们还与四种替代原型网络变体进行比较,该方法在所有方法中实现了最佳准确率和F1分数。我们的案例研究和原型聚类可视化也表明该方法在解释基于LM构建的黑箱模型决策方面具有效率。
引用
@article{arxiv.2409.13312,
title = {GAProtoNet: A Multi-head Graph Attention-based Prototypical Network for Interpretable Text Classification},
author = {Ximing Wen and Wenjuan Tan and Rosina O. Weber},
journal= {arXiv preprint arXiv:2409.13312},
year = {2024}
}
备注
8 pages, 5 figues, accepted by COLING 2025