Megatron：针对视觉Transformer的规避型干净标签后门攻击
计算机视觉与模式识别
2024-12-09 v1 密码学与安全
摘要
视觉Transformer已在各种视觉相关任务中取得了令人瞩目的表现，但其对后门攻击的脆弱性尚未得到充分探索。少数现有工作聚焦于使用错误标注的投毒训练样本的脏标签攻击，但如果良性模型训练器纠正了标签，这些攻击可能失败。在本文中，我们提出了Megatron，一种针对视觉Transformer的规避型干净标签后门攻击，攻击者在不操控数据标注过程的情况下注入后门。为了生成有效的触发器，我们基于Transformer网络中使用的注意力机制定制了两个损失项，即隐损失和注意力扩散损失。隐损失对齐触发样本与目标标签的干净样本之间的最后一层注意力。注意力扩散损失强调涵盖触发器的注意力扩散区域。我们提供了理论分析以支撑注意力扩散损失背后的原理。在CIFAR-10、GTSRB、CIFAR-100和Tiny ImageNet上的大量实验证明了Megatron的有效性。即使在测试时触发器位置略有偏移，Megatron仍可实现超过90%的攻击成功率。此外，Megatron在人类视觉检查和防御策略（即DBAVT、BAVT、Beatrix、TeCo和SAGE）方面均比基线方法具有更好的规避性。
引用
@article{arxiv.2412.04776,
title = {Megatron: Evasive Clean-Label Backdoor Attacks against Vision Transformer},
author = {Xueluan Gong and Bowei Tian and Meng Xue and Shuike Li and Yanjiao Chen and Qian Wang},
journal= {arXiv preprint arXiv:2412.04776},
year = {2024}
}