如何从全局视角比较分类器的对抗鲁棒性
机器学习
2020-10-19 v2 机器学习
摘要
近年来，机器学习模型的对抗鲁棒性备受关注。对抗攻击破坏了机器学习模型的可靠性与可信度，但构建更鲁棒的模型依赖于将对抗鲁棒性作为给定模型属性的严谨理解。针对特定威胁模型的逐点测度是目前比较分类器鲁棒性最流行的工具，并被用于大多数近期关于对抗鲁棒性的出版物中。在本工作中，我们利用最近提出的鲁棒性曲线表明，逐点测度无法捕捉可靠比较不同分类器鲁棒性所必需的重要全局性质。我们引入了利用鲁棒性曲线系统揭示这些性质的新方法，并为研究人员和从业者在评估和比较已训练模型的鲁棒性时提供了具体建议。此外，我们将尺度表征为区分小幅与大幅扰动的方式，并将其与数据集的固有性质相关联，证明必须据此选择鲁棒性阈值。我们发布了用于复现本文所有实验的代码，其中包括一个用于计算任意数据集和分类器鲁棒性曲线的 Python 模块，支持包括 TensorFlow、PyTorch 和 JAX 在内的多种框架。
引用
@article{arxiv.2004.10882,
title = {How to compare adversarial robustness of classifiers from a global perspective},
author = {Niklas Risse and Christina Göpfert and Jan Philip Göpfert},
journal= {arXiv preprint arXiv:2004.10882},
year = {2020}
}