LinguAlchemy：融合类型学和地理元素以实现未知语言泛化
计算与语言
2024-10-07 v6
摘要
预训练语言模型（PLM）在任务和语言泛化方面已变得非常擅长。然而，当面对未知语言时，它们常常失效。在这项工作中，我们提出了LinguAlchemy，这是一种正则化方法，它融合了涵盖类型学、地理和谱系特征的各种语言信息，以将PLM的表示与每种语言对应的语言信息对齐。与完全微调的模型相比，我们的LinguAlchemy在意图分类、新闻分类和语义相关性等多个下游任务中显著提升了mBERT和XLM-R在低资源语言上的性能，并展现出高度的未知语言泛化能力。我们进一步引入了AlchemyScale和AlchemyTune，它们是LinguAlchemy的扩展，能够自动调整语言正则化权重，从而减轻了对超参数搜索的需求。
引用
@article{arxiv.2401.06034,
title = {LinguAlchemy: Fusing Typological and Geographical Elements for Unseen Language Generalization},
author = {Muhammad Farid Adilazuarda and Samuel Cahyawijaya and Alham Fikri Aji and Genta Indra Winata and Ayu Purwarianti},
journal= {arXiv preprint arXiv:2401.06034},
year = {2024}
}