最近并非最亲:面向量化条件后门攻击的实用防御
密码学与安全
2024-05-22 v1 计算机视觉与模式识别
摘要
模型量化被广泛用于压缩和加速深度神经网络。然而,近期研究揭示了通过植入量化条件后门(QCB)来武器化模型量化的可行性。这些特殊后门在发布的完整精度模型上保持休眠,但在标准量化后生效。由于QCB的特殊性,现有防御在降低其威胁方面效果甚微,甚至不可行。本文首次对QCB进行深入分析。我们揭示,现有QCB的激活主要源于最近舍入操作,并与神经元级截断误差(即连续全精度权重与其量化版本之间的差异)的范数密切相关。基于这些见解,我们提出误差引导翻转舍入与激活保持(EFRAP),一种有效且实用的QCB防御方法。具体而言,EFRAP学习一种非最近舍入策略,结合神经元级误差范数和层级激活保持指导,翻转对后门效果关键但对干净精度影响最小的神经元的舍入策略。在基准数据集上的广泛评估表明,我们的EFRAP能够在各种设置下击败最先进的QCB攻击。代码见https://github.com/AntigoneRandy/QuantBackdoor_EFRAP。
引用
@article{arxiv.2405.12725,
title = {Nearest is Not Dearest: Towards Practical Defense against Quantization-conditioned Backdoor Attacks},
author = {Boheng Li and Yishuo Cai and Haowei Li and Feng Xue and Zhifeng Li and Yiming Li},
journal= {arXiv preprint arXiv:2405.12725},
year = {2024}
}
备注
Accepted to CVPR 2024. 19 pages, 9 figures