利用类型学特征赋能 NLP 模型的跨语言行为测试
计算与语言
2023-07-12 v1 机器学习
摘要
面向世界语言开发 NLP 系统的一大挑战在于理解其如何泛化到与真实应用相关的类型学差异。为此，我们提出 M2C，一个形态学感知的 NLP 模型行为测试框架。我们利用 M2C 生成测试，以探查模型在 12 种类型学多样语言中关于特定语言特征的行为。我们在生成的测试上评估最先进的语言模型。尽管模型在英语多数测试中表现出色，我们揭示了其对特定类型学特征（如斯瓦希里语中的时间表达式与芬兰语中的复合所有格）的泛化失败。我们的发现激励开发解决这些盲点的模型。
引用
@article{arxiv.2307.05454,
title = {Empowering Cross-lingual Behavioral Testing of NLP Models with Typological Features},
author = {Ester Hlavnova and Sebastian Ruder},
journal= {arXiv preprint arXiv:2307.05454},
year = {2023}
}
备注
In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics(ACL). July 2023