VALUE：理解自然语言理解中的方言差异
计算与语言
2022-09-14 v2
摘要
英语自然语言理解(NLU)系统已取得优异性能，甚至在GLUE和SuperGLUE等基准上超越人类。然而，这些基准仅包含教科书式标准美国英语(SAE)。其他方言在NLP界长期被忽视。这导致仅服务于部分说话人群体的有偏且不公平的NLU系统。为理解当前模型的差异并促进更具方言能力的NLU系统，我们引入了方言语言理解评估(VernAcular Language Understanding Evaluation, VALUE)基准，这是我们借助一组词汇与形态句法转换规则创建的GLUE的困难变体。在初始发布版(V.1)中，我们为非洲裔美国英语(AAVE)的11个特征构建规则，并以参与式设计方式招募流利AAVE使用者通过语言可接受性判断验证每个特征转换。实验表明这些新方言特征会导致模型性能下降。运行转换代码并下载合成与金标准方言GLUE基准，见 https://github.com/SALT-NLP/value
引用
@article{arxiv.2204.03031,
title = {VALUE: Understanding Dialect Disparity in NLU},
author = {Caleb Ziems and Jiaao Chen and Camille Harris and Jessica Anderson and Diyi Yang},
journal= {arXiv preprint arXiv:2204.03031},
year = {2022}
}
备注
ACL 2022 main conference