参数高效迁移学习何时对机器翻译有效？
计算与语言
2022-10-25 v2
摘要
参数高效微调方法(PEFT)承诺在仅调整少量参数的情况下适配大型预训练模型。已有研究表明，其在许多下游任务上可与全模型微调相媲美。然而，先前工作表明 PEFT 对机器翻译(MT)可能效果不佳，且尚无全面研究说明 PEFT 何时对 MT 有效。我们对 PEFT 用于 MT 进行了全面的实证研究，考量(1)不同的参数预算，(2)多样化的语言对，以及(3)不同的预训练模型。我们发现，在参数预算相当于总模型参数 10% 时，在各层后添加小型前馈网络的“适配器”确实与全模型微调相当。不过，随着调参数量减少，PEFT 性能下降。该下降幅度取决于语言对，PEEFT 对远缘语言对尤其吃力。我们发现，使用更大预训练模型的 PEFT 优于使用更小模型的全微调；且在较小训练数据规模下，对同一预训练模型，PEFT 优于全微调。
引用
@article{arxiv.2205.11277,
title = {When does Parameter-Efficient Transfer Learning Work for Machine Translation?},
author = {Ahmet Üstün and Asa Cooper Stickland},
journal= {arXiv preprint arXiv:2205.11277},
year = {2022}
}
备注
Accepted at EMNLP 2022 (Main Conference)