人工智能技术振兴濒临消失的原住民语言：技术与经验
计算与语言
2024-07-30 v2 人工智能
摘要
自2022年起，我们一直在探索人工智能（AI）和现代自然语言处理（NLP）技术（如大型语言模型，LLM）可用于促进原住民语言使用并帮助记录消失中原住民语言的应用领域和技术。我们首先讨论世界语言多样性减少的情况，以及与原住民语言合作为AI和NLP带来独特的伦理挑战。为解决这些挑战，我们提出一种基于社区参与和实际应用的替代性AI开发周期。随后，我们报告了在开发高质量原住民语言机器学习翻译器方面取得的鼓舞人心的成果，通过微调数据量极少的SOTA翻译器来实现，并讨论了如何避免过程中常见的陷阱。我们还展示了我们在2023年和2024年与巴西原住民社区合作项目中构建的原型，旨在促进写作，并讨论将原住民语言模型（ILM）作为可复制且可扩展的方式来创建拼写检查器、下一个单词预测器等类似工具。最后，我们讨论了我们对未来愿景，其中消逝的语言作为交互式语言模型被保存下来。
引用
@article{arxiv.2407.12620,
title = {Harnessing the Power of Artificial Intelligence to Vitalize Endangered Indigenous Languages: Technologies and Experiences},
author = {Claudio Pinhanez and Paulo Cavalin and Luciana Storto and Thomas Finbow and Alexander Cobbinah and Julio Nogima and Marisa Vasconcelos and Pedro Domingues and Priscila de Souza Mizukami and Nicole Grell and Majoí Gongora and Isabel Gonçalves},
journal= {arXiv preprint arXiv:2407.12620},
year = {2024}
}