STRAP-ViT: 用于对抗补丁防御的分离标记带随机化--变换
计算机视觉与模式识别
2026-03-16 v1 机器学习
摘要
对抗补丁是可实现的局部噪声，能够劫持 Vision Transformer (ViT) 的自注意力机制，将注意力从小的、高对比度区域拉开，从而破坏 class token 导致自信误分类。本文我们认为，包含对抗噪声的图像区域对应的标记与不与对抗扰动重叠的标记在统计属性上存在差异。我们利用这一洞察提出一种机制，称为 STRAP-ViT，它将 Jensen-Shannon 散度用作分离异常行为标记的度量标准，以检测阶段 segregate 这些标记，然后在缓解阶段对其应用随机化复合变换，以使对抗噪声失效。最少需要转换的标记数是防御机制的超参数，使得至少覆盖 50% 的补丁。STRAP-ViT 可作为 ViT 架构的非训练式插即用模块，用于推理 purposes，计算开销最小，不需要额外的训练成本/effort。STRAP-ViT 在多个预训练的视觉转换器架构 (ViT-base-16 和 DinoV2) 和数据集 (ImageNet 和 CalTech-101) 上进行测试，覆盖多种对抗攻击 (Adversarial Patch、LAVAN、GDPA 和 RP2)，表现出优秀的 robust accuracies 位于干净基线的 2-3% 范围内，并优于最先进的技术。
引用
@article{arxiv.2603.12688,
title = {STRAP-ViT: Segregated Tokens with Randomized -- Transformations for Defense against Adversarial Patches in ViTs},
author = {Nandish Chattopadhyay and Anadi Goyal and Chandan Karfa and Anupam Chattopadhyay},
journal= {arXiv preprint arXiv:2603.12688},
year = {2026}
}
备注
Accepted for publication at IEEE/ACM Design Automation Conference (DAC) 2026