DeSparsify：针对视觉Transformer中令牌稀疏化机制的对抗攻击

视觉Transformer对计算机视觉领域的进步做出了巨大贡献，在多种任务（如图像分类、目标检测）中展示了最先进的性能。然而，它们的高计算需求随着使用的令牌数量呈二次增长。为了解决这个问题，提出了令牌稀疏化机制。这些机制采用输入依赖策略，其中无信息的令牌从计算流水线中被丢弃，从而提高了模型的效率。然而，它们的动态性和平均情况假设使它们容易受到一种新的威胁向量的攻击——精心制作的对抗样本能够欺骗稀疏化机制，导致最坏情况下的性能。在本文中，我们提出了DeSparsify，一种针对使用令牌稀疏化机制的视觉Transformer可用性的攻击。该攻击旨在耗尽操作系统的资源，同时保持其隐蔽性。我们的评估展示了该攻击在三种令牌稀疏化机制上的有效性，并检查了攻击在它们之间的可迁移性及其对GPU资源的影响。为了减轻攻击的影响，我们提出了各种对策。