Fine-Tashkeel：微调字节级模型实现精准阿拉伯语文本标音
计算与语言
2023-03-28 v1
摘要
以往关于阿拉伯语标音学习的工作大多依赖于从头训练模型。本文中，我们研究如何利用预训练语言模型来学习标音。我们对无词元预训练多语言模型（ByT5）进行微调，以学习预测并插入阿拉伯语文本中缺失的变音符号，这是一项需要理解句子语义与词元形态结构的复杂任务。我们表明，仅需极少量训练且无需特征工程，即可在标音任务上取得最先进性能，将词错误率（WER）降低40%。我们发布了微调后的模型，以惠及学界广大研究者。
引用
@article{arxiv.2303.14588,
title = {Fine-Tashkeel: Finetuning Byte-Level Models for Accurate Arabic Text Diacritization},
author = {Bashar Al-Rfooh and Gheith Abandah and Rami Al-Rfou},
journal= {arXiv preprint arXiv:2303.14588},
year = {2023}
}