利用 Kendall 秩相关与余弦相似性的关系进行归因保护
机器学习
2022-09-27 v2 人工智能
摘要
模型归因在深度神经网络中十分重要，因为它们有助于从业者理解模型，但近期研究表明归因可通过向输入添加难以察觉的噪声而被轻易扰动。不可微的 Kendall 秩相关是归因保护的关键性能指标。在本文中，我们首先证明期望 Kendall 秩相关与余弦相似性正相关，进而指出归因的方向是归因鲁棒性的关键。基于这些发现，我们探索归因的向量空间，以解释使用 范数的归因防御方法的缺陷，并提出积分梯度正则化器（IGR），其最大化自然归因与扰动归因之间的余弦相似性。我们的分析进一步揭示，IGR 鼓励自然样本与相应扰动样本中具有相同激活状态的神经元，这被证明可诱导对基于梯度的归因方法的鲁棒性。我们在不同模型与数据集上的实验证实了我们对归因保护的分析，并展示了在对抗鲁棒性上的可观提升。
引用
@article{arxiv.2205.07279,
title = {Exploiting the Relationship Between Kendall's Rank Correlation and Cosine Similarity for Attribution Protection},
author = {Fan Wang and Adams Wai-Kin Kong},
journal= {arXiv preprint arXiv:2205.07279},
year = {2022}
}