特征压缩是神经网络分类器对抗性脆弱性的根本原因
机器学习
2025-11-05 v2 密码学与安全
信息论
信号处理
math.IT
摘要
本文独特地研究了深度神经网络 (NN) 在分类任务中的对抗鲁棒性，其针对最优分类器的鲁棒性进行了分析。我们考察能够改变分类器输出的最小幅度可加扰动。我们提供了一种矩阵论解释，说明深度神经网络在分类中的对抗性脆弱性。具体而言，我们的理论结果表明，随着输入维度 的增加，神经网络的对抗鲁棒性会逐渐下降。从理论上分析，我们指出神经网络的对抗鲁棒性最多只有最优分类器最佳对抗鲁棒性的 。我们的理论与实际训练的 NN，包括用于 ImageNet 图像的 NN，的数值实验吻合得非常良好。该矩阵论解释与之前的信息论特征压缩方法对神经网络对抗性脆弱性的解释相一致。
引用
@article{arxiv.2406.16200,
title = {Feature compression is the root cause of adversarial fragility in neural network classifiers},
author = {Jingchao Gao and Ziqing Lu and Raghu Mudumbai and Xiaodong Wu and Jirong Yi and Myung Cho and Catherine Xu and Hui Xie and Weiyu Xu},
journal= {arXiv preprint arXiv:2406.16200},
year = {2025}
}
备注
new experiments