ParsTranslit： truly Versatile Tajik-Farsi Transliteration
计算与语言
2025-10-10 v1
摘要
作为一种双写制语言，波斯语使用两种书写标准：阿拉伯文在阿富汗和伊朗，以及 tajik-cyrillic 在塔吉克斯坦。尽管各国方言相似，但书写差异阻碍了简单的一对一映射，限制了塔吉克斯坦与其波斯语"兄弟国"之间的书面交流与互动。为克服此问题，此前研究探索了机器 transliteration 模型以在两种脚本之间进行转换。不幸的是，大多数研究未使用除其创建的数据集之外的数据，限制了模型仅适用于特定文本领域，如古代诗歌或词表。 truly 可用的 transliteration 系统必须能够处理各种领域的数据，这意味着许多模型缺乏面向实际应用的 Versatility。我们提出一个在所有可用数据集上训练的新型 state-of-the-art 序列到序列模型，用于塔吉克-波斯 transliteration，并介绍我们自制的两个数据集。我们的结果跨领域提供了对该任务更清晰的理解，设定了全面且可比的领先基准。总体而言，我们的模型在波斯到塔吉克和塔吉克到波斯的 chrF++ 和 Normalized CER 分别达到 87.91/0.05 和 92.28/0.04。我们的模型、数据和代码均置于 https://anonymous.4open.science/r/ParsTranslit-FB30/。
引用
@article{arxiv.2510.07520,
title = {ParsTranslit: Truly Versatile Tajik-Farsi Transliteration},
author = {Rayyan Merchant and Kevin Tang},
journal= {arXiv preprint arXiv:2510.07520},
year = {2025}
}