关于提升视觉 Transformer 的对抗可迁移性

视觉 Transformer（ViT）通过自注意力将输入图像作为图像块序列处理，这是一种与卷积神经网络（CNN）截然不同的架构。这使得研究 ViT 模型的对抗特征空间及其可迁移性颇具意义。特别地，我们观察到通过常规对抗攻击发现的对抗模式即便对于大型 ViT 模型也表现出极低的黑盒可迁移性。我们表明该现象仅源于未充分利用 ViT 真实表征潜力的次优攻击流程。深层 ViT 由多个块组成，其一致架构包含自注意力与前馈层，且每个块均能独立产生一个类令牌。仅使用最后一个类令牌（常规做法）来构造攻击并不能直接利用较早令牌中存储的判别信息，导致 ViT 的对抗可迁移性较差。利用 ViT 模型的组合性质，我们通过引入两种针对 ViT 架构的新策略来增强现有攻击的可迁移性。（i）自集成：我们提出一种方法，通过将单个 ViT 模型解剖为网络集成来发现多条判别路径。这使得在每个 ViT 块处显式利用类特定信息成为可能。（ii）令牌精炼：我们进而提出精炼令牌，以进一步增强 ViT 每个块的判别能力。我们的令牌精炼将类令牌与图像块令牌中保留的结构信息系统性结合。