Prompt、Translate、Fine-Tune、Re-Initialize或Instruction-Tune？——针对低资源语言中基于情境学习的大语言模型适应方法

大语言模型通常在高资源语言上进行训练，而在低资源语言上的任务对于基于情境学习的表现往往不及高资源语言。尽管已有大量工作探讨了提示设置，但如何在低资源目标语言中针对基于情境学习进行跨语言适应仍不明确。我们进行了一项全面研究，涵盖五种多样化的目标语言、三个基础大语言模型以及七个下游任务，累计超过4,100个GPU训练小时（9,900+ TFLOPs），考察了多种适应技术：few-shot提示、translate-test、微调、嵌入重新初始化和指令微调。我们的结果表明，few-shot提示和translate-test设置往往显著优于基于梯度的适应方法。为更好地理解这一差异，我们设计了一种新型指标——有效输出召回率（Valid Output Recall, VOR），并分析模型输出，实证归因于这些训练模型因灾难性遗忘而产生性能下降。就本领域而言，这是一项在训练计算资源和所考察的适应技术数量方面均为规模最大的低资源语言基于情境学习研究。我们将所有数据集和训练好的模型公开提供供广大研究者使用。