通过投影梯度下降增强 BERT 模型对抗文本攻击
摘要
针对深度学习模型的对抗攻击代表了自然语言处理（NLP）系统安全和可靠性的主要威胁。本文提出了一种对 BERT-Attack 框架的修改，集成投影梯度下降（Projected Gradient Descent, PGD）以增强其有效性和鲁棒性。原始的 BERT-Attack 设计用于生成针对基于 BERT 的模型的对抗样本，存在固定扰动预算和缺乏对语义相似性考虑等局限。本文提出的方法 PGD-BERT-Attack 通过利用 PGD 迭代生成对抗样本，确保其在不可察觉性和与原始输入语义相似性方面均满足要求，从而解决了上述局限。开展大量实验评估 PGD-BERT-Attack 相较于原始 BERT-Attack 和其他基线方法的性能。结果表明，PGD-BERT-Attack 在保持低感知变化的同时，实现了更高的误分类成功率。此外，PGD-BERT-Attack 生成的对抗实例与初始输入的语义相似性更大，增强了其在实际场景中的适用性。总体而言，本文提出的修改方案为针对基于 BERT 的模型对抗攻击提供了更有效和更稳健的方法，推动了 NLP 系统防御攻击的研究进展。
引用
@article{arxiv.2407.21073,
title = {Enhancing Adversarial Text Attacks on BERT Models with Projected Gradient Descent},
author = {Hetvi Waghela and Jaydip Sen and Sneha Rakshit},
journal= {arXiv preprint arXiv:2407.21073},
year = {2024}
}
备注
This paper is the pre-reviewed version of our paper that has been accepted for oral presentation and publication in the 4th IEEE ASIANCON. The conference will be organized in Pune, INDIA from August 23 to 25, 2024. The paper consists of 8 pages and it contains 10 tables. It is NOT the final camera-ready version that will be in IEEE Xplore