鲁棒标记：面向 Transformer 的对抗鲁棒性

最近，大规模预训练基础模型已被广泛采用于机器学习从业者，用于多种任务。鉴于此类模型可公开获取，依赖其作为下游任务的底层模型可能导致其对以相同公开模型为基础设计的对抗攻击高度脆弱。本文提出鲁棒标记 (Robustness Tokens)，一种针对 Transformer 架构的新方法，通过微调少量额外私有标记而非像传统对抗训练那样调整模型参数，以实现较低的计算需求。我们表明，鲁棒标记使视觉 Transformer 模型在面对白盒对抗攻击时显著提升鲁棒性，同时保持原始下游性能。