解锁低资源语言翻译的参数高效微调
计算与语言
2024-04-08 v1
摘要
参数高效微调 (PEFT) 方法在为大规模预训练语言模型适配各种任务方面日益重要，能够在可调性和计算效率之间取得平衡。在低资源语言 (LRL) 神经机器翻译中，这些方法对于在有限资源下提高翻译准确率尤为重要。然而，这些方法的实际效果在不同的语言之间存在显著差异。我们对8种 PEFT 方法进行了全面的实证实验，评估了在15种不同架构下的表现，使用SacreBLEU得分。我们展示了6种 PEFT 架构在域内和域外测试中均优于基线模型，其中Houlsby+Inversion adapter的性能最佳，证明了PEFT方法的有效性。
引用
@article{arxiv.2404.04212,
title = {Unlocking Parameter-Efficient Fine-Tuning for Low-Resource Language Translation},
author = {Tong Su and Xin Peng and Sarubi Thillainathan and David Guzmán and Surangika Ranathunga and En-Shiun Annie Lee},
journal= {arXiv preprint arXiv:2404.04212},
year = {2024}
}
备注
Accepted to the Findings of NAACL 2024