关于对抗攻击中基于交叉熵损失梯度计算相对误差的理论分析
机器学习
2025-07-31 v1 人工智能
计算机视觉与模式识别
摘要
基于梯度的对抗攻击通常使用交叉熵（CE）损失，但因浮点算术引起的梯度计算相对误差，常导致效果严重高估。本文对这些误差进行严格的理论分析，首次系统性研究了梯度计算中浮点误差在四种不同情景下的行为：（i）非成功的非针对性攻击，（ii）成功的非针对性攻击，（iii）非成功的针对性攻击，（iv）成功的针对性攻击。我们建立了理论基础，刻画不同攻击条件下相对数值误差的行为，揭示了梯度计算不稳定性中以前所未知的模式，识别出浮点下溢和舍入是关键贡献因素。基于此洞见，我们提出了理论MIFPE（T-MIFPE）损失函数，包含最优缩放因子 以最小化浮点误差的影响，从而增强对抗攻击中梯度计算的准确性。在MNIST、CIFAR-10和CIFAR-100数据集上进行大量实验，表明T-MIFPE在攻击效能和鲁棒性评估准确性方面优于现有的损失函数，包括CE、C&W、DLR和MIFPE。
引用
@article{arxiv.2507.22428,
title = {Theoretical Analysis of Relative Errors in Gradient Computations for Adversarial Attacks with CE Loss},
author = {Yunrui Yu and Hang Su and Cheng-zhong Xu and Zhizhong Su and Jun Zhu},
journal= {arXiv preprint arXiv:2507.22428},
year = {2025}
}