NusaX：面向 10 种印尼地方语言的多语平行情感数据集
计算与语言
2023-04-13 v2
摘要
自然语言处理（NLP）通过机器翻译和搜索引擎等技术对社会产生了重大影响。尽管取得了成功，NLP 技术仅广泛服务于英语和中文等高资源语言，而由于数据资源与基准的缺失，许多语言仍无法使用。本工作中，我们聚焦于为印度尼西亚语言开发资源。尽管是语言多样性第二高的国家，印尼大多数语言被归为濒危语言，部分甚至已灭绝。我们开发了首个面向印尼 10 种低资源语言的平行资源，包含数据集、多任务基准、词典以及印尼语-英语平行数据集。我们提供了详尽分析并描述了创建此类资源时的挑战。希望我们的工作能激发针对印尼语及其他代表性不足语言的研究。
引用
@article{arxiv.2205.15960,
title = {NusaX: Multilingual Parallel Sentiment Dataset for 10 Indonesian Local Languages},
author = {Genta Indra Winata and Alham Fikri Aji and Samuel Cahyawijaya and Rahmad Mahendra and Fajri Koto and Ade Romadhony and Kemal Kurniawan and David Moeljadi and Radityo Eko Prasojo and Pascale Fung and Timothy Baldwin and Jey Han Lau and Rico Sennrich and Sebastian Ruder},
journal= {arXiv preprint arXiv:2205.15960},
year = {2023}
}
备注
EACL 2023