面向未知英语方言的任务无关低秩适配器
计算与语言
2023-11-03 v1
摘要
大语言模型(LLMs)在训练语料上对美国标准英语的加权严重失衡。因此，其他方言的使用者在与这些技术交互时经历显著更多的失败。在实践中，这些使用者常调整其言语以被更好地理解。我们的工作秉持这样的信念：语言技术应被设计来适应英语方言的多样性，而非相反。然而，先前的方言工作难以以可扩展的方式泛化到演化中及新兴的方言。为填补此空白，我们的方法 HyperLoRA 利用专家语言学知识，通过超网络实现资源高效的适配。通过解耦方言特定与跨方言信息，HyperLoRA 以任务无关的方式提升了对未知方言的泛化能力。HyperLoRA 不仅在参数数量上更具可扩展性，还在零样本设定下于 5 种方言中取得最佳或最具竞争力的性能。以此方式，我们的方法为传统上代表性不足的数十亿英语方言使用者便利了语言技术的获取。
引用
@article{arxiv.2311.00915,
title = {Task-Agnostic Low-Rank Adapters for Unseen English Dialects},
author = {Zedian Xiao and William Held and Yanchen Liu and Diyi Yang},
journal= {arXiv preprint arXiv:2311.00915},
year = {2023}
}
备注
EMNLP 2023