迁移学习时代的阿拉伯语文本变音标记：令牌分类即所需
计算与语言
2024-01-11 v1
摘要
阿拉伯语文本的自动变音标记涉及向文本添加变音符号（diacritics）。这一任务对计算处理和理解具有重大挑战和显著影响。本文提出 PTCAD（面向阿拉伯语变音标记的预微调令牌分类），一种用于阿拉伯语文本变音标记任务的新型两阶段方法。PTCAD 包含预微调阶段和微调阶段，将阿拉伯语文本变音标记视为预训练模型的令牌分类任务。通过在源自 Tashkeela 数据集的两个基准数据集上的评估，证明了 PTCAD 的有效性，其取得了最先进的结果，包括与现有基准相比词错误率（WER）降低 20%，并在 ATD 任务中表现优于 GPT-4。
引用
@article{arxiv.2401.04848,
title = {Arabic Text Diacritization In The Age Of Transfer Learning: Token Classification Is All You Need},
author = {Abderrahman Skiredj and Ismail Berrada},
journal= {arXiv preprint arXiv:2401.04848},
year = {2024}
}
备注
32 pages, 3 figures, journal