一个像素即我所需

Vision Transformers (ViTs) 在各种视觉任务中取得了破纪录的性能。然而,人们对其抵御后门攻击的鲁棒性担忧日益增加。后门攻击将特定触发器与目标标签相关联,使得当触发器存在时模型预测攻击者指定的标签,而在干净图像上则能正确识别。我们发现,与 CNN 相比,ViTs 对准触发器(与原始训练触发器不同但相似的模式)表现出更高的攻击成功率。此外,干净样本中的某些后门特征可以抑制原始触发器,使准触发器更加有效。为了更好地理解和利用这些漏洞,我们开发了一种名为扰动敏感度分布图 (Perturbation Sensitivity Distribution Map, PSDM) 的工具。PSDM 计算并汇总多个输入上的梯度,以展示模型对输入微小变化的敏感程度。在 ViTs 中,PSDM 呈现出一种块状模式,其中中心像素比边缘更敏感。我们利用 PSDM 来指导准触发器的创建。基于这些发现,我们设计了 WorstVIT,一种针对 ViT 模型的简单而有效的数据投毒后门。该攻击仅需极低的投毒率,仅训练一个 epoch,并仅修改单个像素即可成功攻击所有验证图像。