如何为德语系语言调优多语言编码模型：关于PEFT、完整微调和语言适配器的研究

本文研究了将多语言编码模型mDeBERTa用于德语、瑞典语和冰岛语任务的最佳方法，这三个德语系语言在mDeBERTa预训练数据中的出现程度和可能的数据质量有所不同。我们比较了完整微调与参数效率微调(PEFT)方法LoRA和Pfeiffer瓶颈适配器，发现PEFT对于更高资源的德语语言更有效。然而，瑞典语和冰岛语的结果不够一致。我们还观察到任务之间的差异：尽管PEFT在问答任务中表现更好，但在命名实体识别任务中，完整微调更为可取。鼓励利用前人研究中结合任务和语言适配器的模块化方法，我们评估了添加在非结构化文本上训练的PEFT模块的影响，发现这种方法并无实际帮助。