ProTransformer：通过即插即用范式增强 Transformer 的鲁棒性
机器学习
2024-10-31 v1 计算与语言
密码学与安全
摘要
基于 Transformer 的架构近年来在机器学习的各个领域占据主导地位。在本文中，我们提出了一种新型的鲁棒注意力机制，旨在增强基于 Transformer 的架构的鲁棒性。关键的是，该技术可以作为即插即用层集成到现有的 Transformer 中，无需额外的训练或微调即可提升其鲁棒性。通过全面的实验和消融研究，我们证明了 ProTransformer 在多种预测任务、攻击机制、骨干架构和数据领域上显著增强了 Transformer 模型的鲁棒性。特别值得注意的是，在无需进一步微调的情况下，ProTransformer 在经典的 TextFooler 攻击下分别将 vanilla Transformer 的性能提升了 19.5%、28.3%、16.1% 和 11.4%，对应 BERT、ALBERT、DistilBERT 和 RoBERTa。此外，ProTransformer 在大型语言模型（LLM）中也展现出对抗基于提示的攻击的潜力，将 T5 和 LLaMA 的性能分别提升了 24.8% 和 17.8%，并将 Vicuna 在 Jailbreaking 攻击下的性能平均提升了 10.4%。除了语言领域，ProTransformer 在视觉和图领域也展现了出色的鲁棒性。
引用
@article{arxiv.2410.23182,
title = {ProTransformer: Robustify Transformers via Plug-and-Play Paradigm},
author = {Zhichao Hou and Weizhi Gao and Yuchen Shen and Feiyi Wang and Xiaorui Liu},
journal= {arXiv preprint arXiv:2410.23182},
year = {2024}
}