Adapters Mixup：混合参数高效适配器以增强微调预训练文本分类器的对抗鲁棒性
计算与语言
2024-06-18 v2
摘要
现有工作表明，使用干净样本和对抗样本，通过参数高效微调方法（PEFT）对用于分类任务的预训练语言模型（PLMs）的训练数据进行增强，可以提高其在对抗攻击下的鲁棒性。然而，这种对抗训练范式通常会导致在干净输入上的性能下降，并且需要针对新的、未知的攻击对整个数据进行频繁的重新训练。为了克服这些挑战，同时仍利用对抗训练的优势和 PEFT 的效率，本工作提出了一种名为 AdpMixup 的新方法，该方法结合了两种范式：（1）通过适配器进行微调，以及（2）通过 mixup 进行对抗增强，以在鲁棒推理中动态利用来自一组已知攻击的现有知识。直观上，AdpMixup 使用多个适配器对 PLMs 进行微调，训练数据同时包含干净样本和已知对抗样本，并在预测期间以不同比例智能地混合它们。我们的实验表明，与现有基线相比，AdpMixup 在六种不同的黑盒攻击和 2 个 PLMs 下的五个下游任务中，在已知和未知攻击下均实现了训练效率与鲁棒性之间的最佳权衡。所有源代码将予以公开。
引用
@article{arxiv.2401.10111,
title = {Adapters Mixup: Mixing Parameter-Efficient Adapters to Enhance the Adversarial Robustness of Fine-tuned Pre-trained Text Classifiers},
author = {Tuc Nguyen and Thai Le},
journal= {arXiv preprint arXiv:2401.10111},
year = {2024}
}