类型信息化参数聚合

大规模多语言语言模型实现了跨语言泛化，但在低资源语言和未见语言方面表现不佳。虽然基于适配器的微调提供了参数高效的解决方案，但在规模化训练语言特定适配器仍然昂贵。我们提出了类型信息化参数聚合（TIPA），一种无需训练的方法，通过根据语言的类型相似性对现有适配器进行加权聚合来构建代理语言适配器。集成到 MAD-X 框架中，这些代理适配器实现了零样本跨语言迁移，无需额外训练。我们在五个 NLP 任务上对 TIPA 进行评估，涵盖超过 230 种语言。TIPA 在所有基线（包括仅英语微调或选择类型最接近语言适配器）中均表现出优异或相当的性能。我们看到，对缺乏专用适配器的语言获得最大提升。我们的结果表明，类型信息化聚合为无需任何训练即可替代语言特定模块提供了可行方案。