PEFTT：面向低资源藏语预训练语言模型的参数高效微调
计算与语言
2023-09-22 v1 人工智能
摘要
在大语言模型（LLM）时代，常规用户和机构对模型的传统训练已变得越来越难以想象。在这些模型上探索高资源语言的高效微调是一种不可否认且逐渐流行起来的趋势。然而，对于藏语等多种低资源语言的探索极少。藏语自然语言处理的研究本身稀缺且有限。尽管由于其低资源特性目前尚无现成的藏语大语言模型，但那一天无疑将会到来。因此，针对藏语等低资源语言模型的高效微调研究极为必要。我们的研究可作为填补这一关键空白的参考。藏语预训练语言模型（PLM）的高效微调策略探索甚少。我们在公开可用的 TNCC-title 数据集上进行了三类高效微调实验：“prompt-tuning”、“Adapter 轻量微调”以及“prompt-tuning + Adapter 微调”。实验结果表明使用这些方法有显著改进，为在预训练模型背景下推进藏语语言应用提供了宝贵见解。
引用
@article{arxiv.2309.12109,
title = {PEFTT: Parameter-Efficient Fine-Tuning for low-resource Tibetan pre-trained language models},
author = {Zhou Mingjun and Daiqing Zhuoma and Qun Nuo and Nyima Tashi},
journal= {arXiv preprint arXiv:2309.12109},
year = {2023}
}