关于微调后基于 Transformer 的 NLP 模型鲁棒性的研究
计算与语言
2023-11-09 v2
摘要
基于 Transformer 的预训练模型如 BERT、GPT-2 与 T5 已被微调用于大量自然语言处理（NLP）任务，并被证明非常有效。然而，在微调过程中，这些模型相对于预训练检查点各层发生了什么变化尚缺乏充分研究。此外，这些模型对输入文本扰动的鲁棒性如何？其鲁棒性是否随模型所微调的 NLP 任务而不同？尽管已有一些研究 BERT 微调后用于少数 NLP 任务鲁棒性的工作，但尚无从编码器仅、解码器仅及编码器-解码器模型角度严谨比较该鲁棒性的研究。本文中，我们使用 CKA 与 STIR 两种指标刻画预训练与微调语言模型表征在各层间的变化。进一步，我们研究了三种语言模型（BERT、GPT-2 与 T5）在 GLUE 基准分类任务及摘要、自由生成与问题生成等生成任务上，面对八种不同文本扰动的鲁棒性。GPT-2 表征在多种输入扰动类型下比 BERT 与 T5 更鲁棒。尽管模型整体表现出良好鲁棒性，丢弃名词、动词或更改字符影响最为显著。总体而言，本研究为流行 Transformer 基模型的扰动特定弱点提供了宝贵见解，在输入传递时应予以留意。我们公开了代码与模型 [https://github.com/PavanNeerudu/Robustness-of-Transformers-models]。
引用
@article{arxiv.2305.14453,
title = {On Robustness of Finetuned Transformer-based NLP Models},
author = {Pavan Kalyan Reddy Neerudu and Subba Reddy Oota and Mounika Marreddy and Venkateswara Rao Kagita and Manish Gupta},
journal= {arXiv preprint arXiv:2305.14453},
year = {2023}
}
备注
16 pages, 8 figures, To be published in the proceedings of the Conference on Empirical Methods in Natural Language Processing (Findings of EMNLP 2023), Singapore, Long paper