稀疏表示提高神经网络分类器的对抗鲁棒性
机器学习
2025-10-08 v2 计算机视觉与模式识别
摘要
深度神经网络在图像分类任务上表现卓越，但仍对精心设计的对抗扰动而脆弱。本工作重新审视线性降维作为一种简单、数据适应性防御的方法。我们经验性地比较标准主成分分析（PCA）与其稀疏变种（SPCA）作为下游分类器的前端特征提取器，并补充这些实验的理论分析。在理论方面，我们推导了线性头部应用于 SPCA 特征的精确鲁棒性证书：对于两种 和 威胁模型（二进制和多分类），认证半径随着 的双范数缩小而增大，其中 为投影矩阵， 为头部权重。我们进一步表明，对于一般（非线性）头部，稀疏性通过 Lipschitz 合成论降低了算子范数界，预测输入灵敏度较低。经验上，采用小型非线性网络进行投影后，SPCA 在强大的白盒和黑盒攻击下比 PCA 更平滑地退化，同时保持竞争的干净准确率。综上所述，理论识别了机制（稀疏投影降低对抗杠杆），实验验证了这一益处在线性设置之外仍然有效。我们的代码可在 https://github.com/killian31/SPCARobustness 查阅。
引用
@article{arxiv.2509.21130,
title = {Sparse Representations Improve Adversarial Robustness of Neural Network Classifiers},
author = {Killian Steunou and Théo Druilhe and Sigurd Saue},
journal= {arXiv preprint arXiv:2509.21130},
year = {2025}
}
备注
Killian Steunou is the main contributor and corresponding author of this work