整体可解释的视觉 Transformer
计算机视觉与模式识别
2023-01-23 v1 机器学习
摘要
Transformer 在许多任务和领域中日益主导机器学习格局，这增加了理解其输出的重要性。虽然它们的注意力模块提供了对其内部运作的部分洞察，但已表明注意力分数不足以解释模型整体。为此，我们提出 B-cos transformer，其固有地为自身决策提供整体解释。具体而言，我们将每个模型组件——如多层感知机、注意力层和分词模块——构造为动态线性的，这使我们能够通过单一线性变换忠实概括整个 transformer。我们将所提设计应用于 Vision Transformer（ViT），并表明所得模型（称为 Bcos-ViT）高度可解释，且在 ImageNet 上与基线 ViT 性能相当。代码将很快公开。
引用
@article{arxiv.2301.08669,
title = {Holistically Explainable Vision Transformers},
author = {Moritz Böhle and Mario Fritz and Bernt Schiele},
journal= {arXiv preprint arXiv:2301.08669},
year = {2023}
}