Multi-VALUE：一种面向跨方言英语 NLP 的框架
计算与语言
2023-05-31 v3
摘要
由区域、社会与经济因素导致的方言差异给许多语言技术用户群体带来性能差异。包容且公平的语言技术必须关键地具备方言不变性，即性能在方言迁移时保持恒定。当前系统常未达此理想，因其基于单一方言设计与测试：标准美式英语（SAE）。我们引入一套用于评估与实现英语方言不变性的资源。该资源称为 Multi-VALUE，一个可控的基于规则的翻译系统，涵盖 50 种英语方言与 189 个独特语言特征。Multi-VALUE 将 SAE 映射至每种方言的合成形式。首先，我们用该系统对问答、机器翻译与语义解析进行压力测试。压力测试揭示了领先模型在非标准方言上的显著性能差异。其次，我们将该系统用作数据增强技术以改善现有系统的方言鲁棒性。最后，我们与奇卡诺英语与印度英语母语者合作，发布流行 CoQA 任务的新金标准变体。要执行转换代码、运行模型检查点并下载合成与金标准方言基准数据集，见 http://value-nlp.org。
引用
@article{arxiv.2212.08011,
title = {Multi-VALUE: A Framework for Cross-Dialectal English NLP},
author = {Caleb Ziems and William Held and Jingfeng Yang and Jwala Dhamala and Rahul Gupta and Diyi Yang},
journal= {arXiv preprint arXiv:2212.08011},
year = {2023}
}
备注
ACL 2023