视觉Transformer中注意力图的统计检验
机器学习
2024-01-22 v2 机器学习
摘要
视觉Transformer（ViT）在各种计算机视觉任务中表现出卓越的性能。注意力对于 ViT 捕捉图像块之间复杂的广域关系至关重要，使模型能够权衡图像块的重要性，并有助于我们理解决策过程。然而，在诸如医疗诊断等高风险决策任务中，将 ViT 的注意力用作证据时，由于注意力机制可能错误地聚焦于不相关区域，带来了挑战。在本研究中，我们提出了一种针对 ViT 注意力的统计检验，使我们能够将注意力用作 ViT 决策的可靠定量证据指标，并具有严格控制的错误率。利用称为选择性推断的框架，我们以 p 值的形式量化注意力的统计显著性，这使得能够从理论上对注意力的假阳性检测概率进行量化。我们通过数值实验和在脑图像诊断中的应用，证明了所提方法的有效性和实用性。
引用
@article{arxiv.2401.08169,
title = {Statistical Test for Attention Map in Vision Transformer},
author = {Tomohiro Shiraishi and Daiki Miwa and Teruyuki Katsuoka and Vo Nguyen Le Duy and Kouichi Taji and Ichiro Takeuchi},
journal= {arXiv preprint arXiv:2401.08169},
year = {2024}
}
备注
42pages, 17figures