大语言模型是优异的文本加音标工具吗？墨西哥西班牙语与约鲁巴语案例研究
计算与语言
2026-03-18 v2 人工智能
摘要
我们探讨了大型语言模型(LLMs)在阿拉伯语和约鲁巴语文本加音标方面的有效性。为确保严格评估, 我们引入了一个新型的多语言数据集 MultiDiac, 包含捕获各种音标歧义的多样化样本。我们评估了 12 个LLMs, 其规模、可访问性和语言覆盖范围各不相同, 并将其与 4 个专业化的加音标模型进行基准测试。此外, 我们使用 LoRA 对四个小型开源模型进行约鲁巴语微调。我们的结果表明, 许多即插即用的 LLMs 超过了专业化的加音标模型, 但较小的模型则受到幻觉的影响。我们发现, 在小型数据集上进行微调可以帮助提高约鲁巴语的加音标性能并减少幻觉。
引用
@article{arxiv.2506.11602,
title = {Are LLMs Good Text Diacritizers? An Arabic and Yoruba Case Study},
author = {Hawau Olamide Toyin and Samar Mohamed Magdy and Hanan Aldarmaki},
journal= {arXiv preprint arXiv:2506.11602},
year = {2026}
}
备注
accepted at LREC 2026