SlowFormer:面向高效视觉Transformer推理计算与能效攻击的通用对抗补丁
计算机视觉与模式识别
2023-10-05 v1
摘要
近来,在降低深度模型推理时计算量方面取得了诸多进展。这些方法可减少深度模型的计算需求与功耗。其中部分方法基于输入样本自适应地调整计算量。我们表明此类模型易遭受通用对抗补丁攻击:攻击者对一补丁进行优化,将其粘贴于任意图像上时,可增加模型的计算与功耗。我们使用三种不同的高效视觉Transformer方法开展实验,表明在某些情况下,攻击者仅需粘贴占据图像面积 8% 的补丁,便可将计算量提升至最大可能水平。我们还表明,标准对抗训练防御方法可削弱该攻击的部分成功率。我们相信自适应高效方法对未来降低深度模型功耗必不可少,故希望本文能鼓励社区研究这些方法的鲁棒性,并针对所提攻击开发更好的防御方法。
引用
@article{arxiv.2310.02544,
title = {SlowFormer: Universal Adversarial Patch for Attack on Compute and Energy Efficiency of Inference Efficient Vision Transformers},
author = {KL Navaneet and Soroush Abbasi Koohpayegani and Essam Sleiman and Hamed Pirsiavash},
journal= {arXiv preprint arXiv:2310.02544},
year = {2023}
}
备注
Code is available at https://github.com/UCDvision/SlowFormer