低资源环境下基于主动学习的参数高效语言模型微调
计算与语言
2023-10-24 v2
摘要
预训练语言模型（PLMs）引发了对高效微调技术的强烈需求，尤其是在低资源领域和语言中。主动学习（AL）是一组通过最小化标注复杂度来降低标注成本的算法，在应对标注瓶颈方面已显示出前景。与此同时，为参数高效微调（PEFT）设计的适配器模块在低资源环境中展现出显著潜力。然而，AL与基于适配器的PEFT之间的相互作用仍未被探索。我们针对文本分类任务，在低资源环境下对PEFT与AL结合的行为进行了实证研究。我们的发现肯定了在低资源环境下PEFT优于全微调（FFT），并表明该优势在AL设置中持续存在。我们进一步通过遗忘动态和实例级表示的视角考察PEFT与FFT的特性，发现与FFT相比，PEFT对早期和中间层产生更稳定的表示。我们的研究强调了在低资源环境下AL与PEFT的协同潜力，为高效且有效的微调进展铺平了道路。
引用
@article{arxiv.2305.14576,
title = {Parameter-Efficient Language Model Tuning with Active Learning in Low-Resource Settings},
author = {Josip Jukić and Jan Šnajder},
journal= {arXiv preprint arXiv:2305.14576},
year = {2023}
}
备注
Accepted at EMNLP 2023