OYXOY：面向现代希腊语的现代化 NLP 测试套件
计算与语言
2024-01-29 v2
摘要
本文是构建面向希腊语 NLP 的、具有语言学动机且技术相关的评测套件的基础性一步。我们通过引入四项专家核验的评测任务来启动这一工作，具体针对自然语言推理、词义消歧（通过样例比较或义项选择）以及隐喻检测。我们的贡献不只是对现有任务的语种适配复刻，而是带来了两项将与更广泛的资源和评测社区产生共鸣的创新。首先，我们的推理数据集是同类中的首个，它不仅标注了\textit{一个}，而是标注了\textit{所有}可能的推理标签，并考量了诸如歧义或多义性引起的潜在偏移。其次，我们展示了一种为资源匮乏语言获取数据集的低成本方法。使用 ChatGPT 作为语言中立解析器，我们将《标准现代希腊语词典》转换为结构化格式，并由此通过简单投影派生出其余三项任务。我们针对每项任务使用当前可用的 SOTA 机器进行了实验。我们的实验基线证实了任务的挑战性，并凸显了希腊语 NLP 生态体系需加快进展以跟上当代主流研究的必要性。
引用
@article{arxiv.2309.07009,
title = {OYXOY: A Modern NLP Test Suite for Modern Greek},
author = {Konstantinos Kogkalidis and Stergios Chatzikyriakidis and Eirini Chrysovalantou Giannikouri and Vassiliki Katsouli and Christina Klironomou and Christina Koula and Dimitris Papadakis and Thelka Pasparaki and Erofili Psaltaki and Efthymia Sakellariou and Hara Soupiona},
journal= {arXiv preprint arXiv:2309.07009},
year = {2024}
}
备注
EACL 2023 (Findings)