NushuRescue：利用AI复兴濒危Nushu语言
计算与语言
2025-01-07 v4 机器学习
摘要
濒危和灭绝语言的保存与复兴是一项有意义的 endeavor，不仅 conserves 文化遗产，还丰富了语言学和人类学等领域。然而，这些语言通常资源匮乏，其重建过程代价高昂且费时。以中国姑娘们在 patriarchal 社会中用于自我表达的稀有脚本Nushu为例，这一挑战尤为突出。为此，我们引入NushuRescue，一个面向资源匮乏语言的AI驱动框架，用于训练大型语言模型（LLM）。NushuRescue自动化评估并扩大目标语料库以加速语言复兴。作为基础组件，我们开发了NCGold，即500句Nushu-中文平行语料库，首个公开可用的该类型数据集。借助GPT-4-Turbo，若不了解Nushu仅凭NCGold中35个简短例句，NushuRescue即可在50个被扣除句子上实现48.69%的翻译准确率，并生成NCSilver，即98句新翻译的现代中文句子（长度各异）。Supplementary Materials中包含NCGold和NCSilver的部分样本。此外，我们开发了基于FastText和Seq2Seq模型进一步支持Nushu研究。NushuRescue为濒危语言的复兴提供了一种 versatile且可扩展的工具，最大程度降低对大量人工输入的需求。
引用
@article{arxiv.2412.00218,
title = {NushuRescue: Revitalization of the Endangered Nushu Language with AI},
author = {Ivory Yang and Weicheng Ma and Soroush Vosoughi},
journal= {arXiv preprint arXiv:2412.00218},
year = {2025}
}
备注
Accepted to COLING 2025