低秩对抗性 PGD 攻击
机器学习
2024-10-17 v1 人工智能
数值分析
数值分析
机器学习
摘要
深度神经网络模型的对抗攻击取得了快速发展，广泛用于研究这些网络的稳定性。在各种对抗策略中，投影梯度下降 (Projected Gradient Descent, PGD) 因其有效性和快速实现而在计算机视觉中被广泛采用，因而适用于对抗性训练。本文观察到，在许多情况下，使用 PGD 计算得到的扰动主要影响原始图像的奇异值谱的一个部分，表明这些扰动近似为低秩。基于此观察，我们提出了一种高效计算低秩攻击的 PGD 变体。我们在广泛的标准模型以及经过对抗训练的鲁棒模型上充分验证了该方法。我们的分析表明，所提出的低秩 PGD 可因其简洁而快速的实现方式以及具竞争性能，被有效地用于对抗性训练。值得注意的是，我们发现低秩 PGD 在大大减少内存使用的情况下，往往能够与传统全秩 PGD 攻击相当，甚至更好。
引用
@article{arxiv.2410.12607,
title = {Low-Rank Adversarial PGD Attack},
author = {Dayana Savostianova and Emanuele Zangrando and Francesco Tudisco},
journal= {arXiv preprint arXiv:2410.12607},
year = {2024}
}