使用 NDCG 和倒数排名指标评估神经网络防御与攻击
密码学与安全
2024-09-26 v1 计算机视觉与模式识别
机器学习
神经与进化计算
摘要
通过修改输入（即对抗样本）对神经网络进行攻击的问题近期引起了广泛关注。这些攻击相对容易生成且难以检测，构成了许多建议防御试图缓解的安全漏洞。然而，对攻击和防御效果的评估通常依赖于传统的分类指标，而没有充分适应对抗场景。这些指标大多基于准确率，因此可能具有有限的适用范围和较低的区分能力。其他指标则没有考虑神经网络功能的独特特征，或者只是间接地（例如，通过生成的复杂性）衡量攻击的效果。在本文中，我们提出了两种专门设计用于衡量多类分类任务中攻击或防御恢复效果对神经网络输出的影响的指标。受信息检索文献中使用的归一化折损累计增益和倒数排名指标的启发，我们将神经网络预测视为结果的排序列表。利用关于排名概率的额外信息，我们能够定义适合当前任务的新颖指标。我们在预训练的 VGG19 模型和 ImageNet 数据集上使用各种攻击和防御来评估我们的指标。与常见的分类指标相比，我们提出的指标表现出更优越的信息量和区分度。
引用
@article{arxiv.2201.05071,
title = {Evaluation of Neural Networks Defenses and Attacks using NDCG and Reciprocal Rank Metrics},
author = {Haya Brama and Lihi Dery and Tal Grinshpoun},
journal= {arXiv preprint arXiv:2201.05071},
year = {2024}
}
备注
12 pages, 5 figures