ReLU函数是否具有对抗鲁棒性？
机器学习
2024-05-08 v1 人工智能
摘要
深度学习模型的有效性因对抗样本的存在而受到质疑。确保深度学习模型对抗样本的鲁棒性对于其持续的开发和部署至关重要。在本工作中，我们聚焦于矩形线性单元（ReLU）激活函数在对抗样本生成中的作用。ReLU函数因促进训练过程而在深度学习模型中广泛使用。然而，我们的实证分析表明，ReLU函数不具备对抗样本的鲁棒性。我们提出了一种修改版ReLU函数，可提高对抗样本的鲁棒性。我们的实验结果确认了该修改方案的有效性。此外，我们演示了将对抗训练应用于定制模型后，其鲁棒性进一步优于通用模型。
引用
@article{arxiv.2405.03777,
title = {Is ReLU Adversarially Robust?},
author = {Korn Sooksatra and Greg Hamerly and Pablo Rivas},
journal= {arXiv preprint arXiv:2405.03777},
year = {2024}
}
备注
10 pages