基于激活梯度的中毒样本检测方法以防御后门攻击
密码学与安全
2024-05-29 v2
摘要
本文研究中毒样本检测任务，旨在防御基于数据投毒的后门攻击。其核心挑战在于找到一种具有泛化能力和判别力的度量标准，以区分干净样本和各类中毒样本（例如，各种触发器、各种投毒比例）。受后门攻击中一个常见现象的启发，即后门模型倾向于将目标类别中差异显著的中毒样本和干净样本映射到相似的激活区域，我们引入了一种新颖的视角，即样本激活梯度的圆形分布，称为梯度圆形分布（GCD）。并且，我们基于GCD发现了两个有趣的观察结果。一是目标类别中样本的GCD比干净类别中的分散得多。二是在目标类别的GCD中，中毒样本和干净样本被清晰地分离开来。受上述两个观察结果的启发，我们开发了一种创新的三阶段中毒样本检测方法，称为基于激活梯度的中毒样本检测（AGPD）。首先，我们从在不可信数据集上训练的模型中计算所有类别的GCD。然后，我们根据目标类别和干净类别之间GCD分散度的差异来识别目标类别。最后，我们基于中毒样本和干净样本之间的清晰分离，在识别出的目标类别中过滤掉中毒样本。在各种后门攻击设置下的大量实验表明，根据基于样本激活的度量标准，所提出的方法在检测性能上优于现有的中毒检测方法。
引用
@article{arxiv.2312.06230,
title = {Activation Gradient based Poisoned Sample Detection Against Backdoor Attacks},
author = {Danni Yuan and Shaokui Wei and Mingda Zhang and Li Liu and Baoyuan Wu},
journal= {arXiv preprint arXiv:2312.06230},
year = {2024}
}