PatchCensor：基于穷举测试的 Transformer 补丁鲁棒性认证

Vision Transformer（ViT）已知与其他经典神经网络一样具有高度非线性，并易被自然与对抗补丁扰动所欺骗。该局限可能对 ViT 在真实工业环境尤其是安全关键场景中的部署构成威胁。本工作中，我们提出 PatchCensor，旨在通过穷举测试认证 ViT 的补丁鲁棒性。我们尝试通过考虑最差补丁攻击场景来提供可证明保证。与可能被自适应突破的针对对抗补丁的经验防御不同，认证鲁棒方法能在特定条件下针对任意攻击提供认证准确率。然而，现有鲁棒性认证多基于鲁棒训练，往往需大量训练代价并牺牲模型在正常样本上的性能。为弥补此差距，PatchCensor 力求通过检测异常输入而非训练鲁棒模型并令其对每输入给出可靠结果来提升整体系统鲁棒性，后者难免损害准确率。具体而言，每个输入通过对具有不同变异注意力掩码的多重推断进行投票来测试，其中至少一次推断保证排除异常补丁。这可视为完全覆盖测试，能在测试时提供推断的统计保证。我们的综合评估表明，PatchCensor 能达到高认证准确率（例如在 ImageNet 上对 2% 像素对抗补丁达 67.1%），显著优于最先进技术，同时取得相近干净准确率（ImageNet 上 81.8%）。同时，我们的技术也支持灵活配置，通过简单改变掩码策略处理不同对抗补丁尺寸（最高 25%）。