PASTA：针对视觉 Transformer 的块无关双重隐蔽后门攻击

视觉 Transformer（ViT）在视觉任务中取得了显著成功，但近期研究表明它们仍然容易受到后门攻击。现有的基于图像块的攻击通常假设在推理时使用单个固定的触发器位置，以最大化触发器注意力。然而，它们忽略了 ViT 中捕获跨图像块长距离依赖的自注意力机制。在这项工作中，我们观察到，当在相邻图像块上激活后门时，基于图像块的触发器可以实现高攻击有效性，我们将这种现象称为触发器辐射效应（TRE）。我们进一步发现，与单图像块插入相比，训练期间的跨图像块触发器插入可以协同增强 TRE。先前旨在最大化触发器注意力的 ViT 特定攻击通常会牺牲视觉和注意力的隐蔽性，使其可被检测。基于这些见解，我们提出了 PASTA，一种在像素域和注意力域都具有双重隐蔽性的基于图像块的后门攻击。PASTA 能够在推理期间将触发器放置在任意图像块时激活后门。为此，我们引入了一种多位置触发器插入策略来增强 TRE。然而，在保持隐蔽性的同时维持强大的 TRE 具有挑战性，因为在隐蔽性约束下 TRE 会被削弱。因此，我们构建了一个双层优化问题，并提出了一个自适应后门学习框架，其中模型和触发器迭代地相互适应以避免局部最优。大量实验表明，PASTA 在四个数据集上平均在任意图像块上实现了 99.13% 的攻击成功率，同时相比最先进的 ViT 防御方法，显著提高了视觉和注意力隐蔽性（144.43 倍和 18.68 倍）以及鲁棒性（2.79 倍），优于基于 CNN 和 ViT 的基线方法。