低资源适配器是正则化器，而非语言学家
计算与语言
2025-06-02 v1
摘要
从相关的高资源语言进行跨语言迁移是提升低资源语言技术的成熟策略。先前的工作表明，适配器在例如改进低资源机器翻译（MT）方面展现出潜力。在本工作中，我们研究了一种适配器融合方法，结合对预训练 MT 模型的交叉注意力微调，以利用语言迁移来处理三种低资源克里奥尔语，这些语言在不同语言学维度上与不同的语群表现出相关性。我们的方法显著优于基线性能。然而，我们发现语言相关性——甚至缺乏相关性——与适配器性能之间并没有显著的协变关系。令人惊讶的是，我们的交叉注意力微调方法在使用随机初始化的适配器时同样有效，这意味着在此设定下，适配器的益处在于参数正则化，而非有意义的信息迁移。我们提供了支持这一正则化假设的分析。我们的发现强调了这样一个现实：神经语言处理涉及众多成功因素，且并非所有神经方法都以直观的方式利用语言学知识。
引用
@article{arxiv.2505.24525,
title = {Limited-Resource Adapters Are Regularizers, Not Linguists},
author = {Marcell Fekete and Nathaniel R. Robinson and Ernests Lavrinovics and E. Djeride Jean-Baptiste and Raj Dabre and Johannes Bjerva and Heather Lent},
journal= {arXiv preprint arXiv:2505.24525},
year = {2025}
}