家族关系：面向法洛什语的小型大语言模型适应与合并
计算与语言
2026-03-27 v2
摘要
我们探讨了将小型高效语言模型适应到法洛什语（Faroese）的策略。法洛什语是一种低资源的北日德语族语言。我们从英文预训练模型开始，对相关的斯堪的纳维亚语进行持续预训练——可分别进行，也可通过模型合并方式组合后再进行法洛什语微调。我们比较了全参数微调与通过 LoRA 实现的参数高效适应，评估其对通用语言建模性能、语言学准确性和文本理解能力的影响。为弥补缺乏法洛什语评估资源的不足，我们构建了两个新的最小配对探针基准：一个用于语言可接受性，一个用于文本理解，并补充了由 native Faroese 语言学家进行的人类评估。我们的结果表明，来自相关语言的迁移是必需的，但最佳来源语言取决于具体任务：冰岛语可提高语言学准确性，而丹麦语可提升阅读理解能力。适应方法的选择也取决于目标任务：LoRA 在语言可接受性和略高的人类评估得分方面表现更好，而全参数微调在理解性能和更健壮的下游微调方面表现更佳。在全参数微调下（但在 LoRA 下）合并多个相关语言可提高通用语言建模，但在语言可接受性和理解探针中的优势较不一致。
引用
@article{arxiv.2510.00810,
title = {Family Matters: Language Transfer and Merging for Adapting Small LLMs to Faroese},
author = {Jenny Kunz and Iben Nyholm Debess and Annika Simonsen},
journal= {arXiv preprint arXiv:2510.00810},
year = {2026}
}