利用附加统计信息检视Transformer模型的可解释性
计算机视觉与模式识别
2025-04-22 v2 人工智能
摘要
近年来Transformer在计算机视觉领域愈发流行，因此需要通过可视化找到有效解释Transformer模型的方法。在近期工作中，Chefer等人通过结合注意力层展示每个图像块的重要性，可有效可视化视觉与多模态任务上的Transformer。然而，当应用于Swin Transformer等其他Transformer变体时，该方法无法聚焦于预测对象。我们的方法通过考虑层归一化层中token的统计信息，展现出解释Swin Transformer与ViT可解释性的强大能力。
引用
@article{arxiv.2311.11378,
title = {Inspecting Explainability of Transformer Models with Additional Statistical Information},
author = {Hoang C. Nguyen and Haeil Lee and Junmo Kim},
journal= {arXiv preprint arXiv:2311.11378},
year = {2025}
}
备注
Accepted at Responsible Computer Vision workshop at ECCV 2022