用数据稀疏性假设解释对抗脆弱性
人工智能
2022-02-21 v3
摘要
尽管已有许多旨在为深度学习（DL）模型提供鲁棒性的算法被提出，DL 模型仍易受对抗攻击。我们假设 DL 模型的对抗脆弱性源于两个因素。第一个因素是数据稀疏性，即在高维输入数据空间中，数据分布支撑集之外存在大片区域。第二个因素是 DL 模型中存在许多冗余参数。由于这些因素，不同模型能够以相近的高预测准确率给出不同的决策边界。决策边界出现在数据分布支撑集之外的空间并不会影响模型的预测准确率，但却对模型的对抗鲁棒性造成重要影响。我们假设理想的决策边界应尽可能远离数据分布的支撑集。本文中，我们开发了一个训练框架，以观察 DL 模型能否学习到这样一种决策边界：其跨越类分布周围、远离数据点本身的空间。训练过程中通过利用在数据分布支撑集之外生成的无标签数据来部署半监督学习。我们使用知名对抗攻击与鲁棒性度量，测量了采用该训练框架训练的模型的对抗鲁棒性。我们发现，使用我们的框架以及其他正则化方法与对抗训练训练的模型，均支持我们的数据稀疏性假设，且使用这些方法训练的模型学到的决策边界更接近于上述理想决策边界。我们的训练框架代码可在 https://github.com/MahsaPaknezhad/AdversariallyRobustTraining 获取。
引用
@article{arxiv.2103.00778,
title = {Explaining Adversarial Vulnerability with a Data Sparsity Hypothesis},
author = {Mahsa Paknezhad and Cuong Phuc Ngo and Amadeus Aristo Winarto and Alistair Cheong and Chuen Yang Beh and Jiayang Wu and Hwee Kuan Lee},
journal= {arXiv preprint arXiv:2103.00778},
year = {2022}
}