用参数高效迁移学习探查语言模型的分布外鲁棒性
计算与语言
2023-06-16 v4
摘要
随着预训练语言模型(PLM)规模持续增长，近期提出了众多参数高效迁移学习方法，以弥补微调的巨大成本。尽管大型预训练语言模型(PLM)与各类参数高效迁移学习(PETL)方法在诸多基准上取得了令人印象深刻的成果，它们能否有效处理发生分布偏移的输入仍不清楚。本研究中，我们系统性地探究随着 PLM 规模增大或迁移方法改变，检测分布外(OOD)的能力如何变化。具体而言，我们在三个不同的意图分类任务上评估了多种 PETL 技术，包括 fine-tuning、Adapter、LoRA 与 prefix-tuning，每个任务均使用不同规模的多种语言模型。
引用
@article{arxiv.2301.11660,
title = {Probing Out-of-Distribution Robustness of Language Models with Parameter-Efficient Transfer Learning},
author = {Hyunsoo Cho and Choonghyun Park and Junyeop Kim and Hyuhng Joon Kim and Kang Min Yoo and Sang-goo Lee},
journal= {arXiv preprint arXiv:2301.11660},
year = {2023}
}
备注
*SEM 2023