QuantAttack：利用动态量化攻击视觉 Transformer
计算机视觉与模式识别
2024-12-02 v2 密码学与安全
机器学习
摘要
近年来，深度神经网络（DNNs），特别是基于 Transformer 的模型，呈现出开发越来越大、能力越来越强的模型的显著趋势。尽管它们展示了最先进的性能，但其不断增长的规模需要更多的计算资源（例如，具有更大内存容量的 GPU）。为了解决这个问题，人们提出了量化技术（即低比特精度表示和矩阵乘法）。大多数量化技术采用静态策略，在训练或推理期间对模型参数进行量化，而不考虑测试时的样本。相比之下，动态量化技术越来越受欢迎，它在推理期间根据提供的输入进行自适应，同时保持全精度性能。然而，其动态行为和平均情况性能假设使它们容易受到一种新型威胁向量的攻击——针对模型效率和可用性的对抗性攻击。在本文中，我们提出了 QuantAttack，一种针对量化模型可用性的新型攻击，它会减慢推理速度，并增加内存使用和能耗。我们表明，精心设计的对抗样本旨在耗尽操作系统的资源，可以触发最坏情况下的性能。在我们的实验中，我们在单模态和多模态的广泛任务上展示了我们攻击视觉 Transformer 的有效性。我们还检查了不同攻击变体（例如，通用扰动）的效果以及不同模型之间的可迁移性。
引用
@article{arxiv.2312.02220,
title = {QuantAttack: Exploiting Dynamic Quantization to Attack Vision Transformers},
author = {Amit Baras and Alon Zolfi and Yuval Elovici and Asaf Shabtai},
journal= {arXiv preprint arXiv:2312.02220},
year = {2024}
}