量化对基于 Transformer 的文本分类器鲁棒性的影响
计算与语言
2024-03-11 v1 机器学习
摘要
基于 Transformer 的模型在各种自然语言处理（NLP）领域取得了显著进展。然而，这些模型在面对对抗攻击时往往表现出脆弱性。在本文中，我们探讨了量化对基于 Transformer 的模型鲁棒性的影响。量化通常涉及将高精度实数映射为低精度值，旨在减小模型规模。据我们所知，本研究是首次将量化应用于 NLP 模型的鲁棒性。在实验中，我们使用 SST-2、Emotion 和 MR 数据集评估了量化对 BERT 和 DistilBERT 模型在文本分类任务中的影响。我们还评估了这些模型在 TextFooler、PWWS 和 PSO 对抗攻击下的性能。我们的发现表明，量化显著提高了模型的对抗准确率（平均提高 18.68%）。此外，我们比较了量化与对抗训练方法对鲁棒性的影响。实验表明，与对抗训练相比，量化使模型的鲁棒性平均提高了 18.80%，且在训练过程中未增加任何额外的计算开销。因此，我们的结果突显了量化在提升 NLP 模型鲁棒性方面的有效性。
引用
@article{arxiv.2403.05365,
title = {The Impact of Quantization on the Robustness of Transformer-based Text Classifiers},
author = {Seyed Parsa Neshaei and Yasaman Boreshban and Gholamreza Ghassem-Sani and Seyed Abolghasem Mirroshandel},
journal= {arXiv preprint arXiv:2403.05365},
year = {2024}
}